大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

Hadoop分布式文件系统中的HDFS是什么

这期内容当中小编将会给大家带来有关Hadoop分布式文件系统中的HDFS是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

创新互联公司专注于邻水网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供邻水营销型网站建设,邻水网站制作、邻水网页设计、邻水网站官网定制、成都小程序开发服务,打造邻水网络公司原创品牌,更为您提供邻水网站排名全网营销落地服务。

HDFS设计
  • 超大文件 PB 级

  • 流式数据访问

    • 一次写入,多次读取是最高效的访问模式

  • 商用硬件 (不需要高昂且高可用的硬件)

    • 节点故障率较高,某些应用不适合

  • 低时间延迟的数据访问

    • 要求低时间延迟的数据访问,例如几十毫秒范围不适合在HDFS上运行

  • 大量的小文件

    • namenode 将文件系统的元数据存储在内容中,因此该文件系统所能存储的文件总数受限于 namenode 的内存容量

    • 根据经验 每个文件、目录和数据块的存储信息大约占150字节

  • 多用户写入,任意 修改文件

    • HDFS中的文件只支持单个写入者,而且写操作总是以“只添加”方式在文件末尾写数据,它不支持多个写入者的操作,也不支持在文件的任意位置进行修改。

HDFS概念
  • 数据块 默认128mb

  • HDFS 小于一个块大小的文件不会占据整个块的空间

hdfs fsck / -files -blocks

  • namenode 和datanode

    • 1.备份那些组成文件系统元数据持久状态的文件,一般的配置是,将持久状态写入本地磁盘的同时,写入NFS

    • 运行辅助namenode 一般在单独的物理机运行。主节点挂了之后,启用辅助节点不能保证数据完整性

    • namenode 管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。namenode 也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息会在系统启动时根据数据节点信息重建。

    • datanode 根据需要存储并检索数据块,并且定期向namenode发送它们所存储的块的列表

    • namenode 容错机制

  • 块缓存

    • 默认 一个块缓存在一个datanode的内存中

    • 提高读 的性能

    • 缓存池

  • 联邦HDFS

    • 联邦HDFS 允许系统通过添加namenode 实现扩展

    • 每个namenode 管理文件系统命名空间的一部分

    • 两两之间互不通信

  • HDFS 的高可用

    • namenode 之间需要通过高可用共享存储实现编辑日志的共享

    • datanode 需要同时向两个namenode 发送数据块处理报告,因为数据块的映射信息存储在namenode 内存中,而非磁盘

    • 客户端需要使用特定的机制来处理namenode 的失效问题,这一机制对用户是透明的

    • 辅助namenode的角色被备用namenode所包含

    • 共享存储的选择 NFS或群体日志管理器(QJM)

    • 故障切换与规避

    • 撤销namenode 访问共享存储目录的权限

    • 屏蔽网络端口

    • 断电等等...

    • 备份namenode 的方式无法实现高可用

    • HA 的架构支持

命令行接口
  • namenode 运行端口8020

  • 从本地copy 文件到 hdfs /user/hadoop/ 目录下

hadoop fs -copyFromLocal max_temperature.sh a.sh

  • 把文件复制回本地文件系统

hadoop fs -copyToLocal a.sh my.sh

md5sum max_temperature.sh my.sh

  • 新建目录

hadoop fs -mkdir books

hadoop fs -ls .

  • 默认情况下 安全措施处于停用状态,生产环境应该启用 dfs.premissions.enabled

  • 对文件而言 执行权限没有意义

hadoop 文件系统
  • HDFS 只是其中一种实现

  • Hadoop 文件系统 Local,HDFS,WebHDFS,Secure WebHDFS, HAR, View, FTP, S3, Azure, Swift

  • 列出本地文件系统根目录下的文件 hadoop fs -ls file:///

  • 尽管运行的MapReduce 程序可以访问任何文件系统,但在处理大数据集的时候,建议还是选择一个有数据本地化优势的分布式文件系统,如HDFS

  • 接口

    • 用户控件文件系统, 允许将用户空寂那实现的文件系统作为Unix 文件系统进行集成。

    • 通过使用Fuse-DFS 模块,HDFS均可以作为一个标准的本地文件系统进行挂载。

    • NFS 网关是更好的方案,应该选择

    • 使用hadoop 的NFSv3 网关将HDFS挂载为本地客户端的文件系统是可行的。

    • 可以使用Unix程序与该文件系统交互

    • HDFS仅能以追加模式写文件,因此可以往文件末尾添加数据,但不能随机修改文件

    • HTTP接口比原生的Java客户端要慢,不要用它来传出特大数据

    • 访问方式 直接访问(namenode 和 datanode 内嵌的 web服务器作为 WebHDFS 的端节点运行 dfs.webhdfs.enabled 设置为true)

    • 通过代理访问

    • HttpFS代理提供和 WebHDFS 相同的HTTp接口 使用httpfs.sh 脚本

    • HTTP

    • c 语言(libhdfs,libwebhdfs)底层代码都是java

    • NFS

    • FUSE

  • java接口

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar URLCat hdfs:///user/hadoop/output/part-r-00000

    public class FileSystemCat {
       public static void main(String[] args) throws Exception {
          String uri = args[0];
          Configuration conf = new Configuration();
          FileSystem fs = FileSystem.get(URI.create(uri), conf);
          InputStream in = null;
          try {
                in = fs.open(new Path(uri));
                IOUtils.copyBytes(in, System.out, 4096, false);
          } finally {
                IOUtils.closeStream(in);
          }
       }
    }

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemCat hdfs:///user/hadoop/output/part-r-00000

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemDoubleCat hdfs:///user/hadoop/output/part-r-00000

    • 新建文件

    • FSDataOutputStream

    • 目录 public boolean mkdirs(Path f) throws IOException

    • 查询文件系统

    • FileStatus 类封装了文件系统中文件和目录的元数据

    • public boolean exists(Path f) throws IOException

    • 写入数据

         FSDataOutputStream create(FileSystem fs,Path file, FsPermission permission) throws IOException
      
         FSDataOutputStream append(Path f) throws IOException
      
         //代码
          String localSrc = args[0];
        String dst = args[1];
        InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
      
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(dst), conf);
        OutputStream out = fs.create(new Path(dst), new Progressable() {
            public void progress() {
                System.out.println(".");
            }
        });
        IOUtils.copyBytes(in, out, 4096, false);

    • FSDataInputStream seek()是一个相对高开销的操作,需要谨慎使用,建议用流数据来构建应用的访问模式,而非执行大量的seek()方法 hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemDoubleCat hdfs:///user/hadoop/output/part-r-00000

    • 通过 FileSystem

    • 通过URL读取数据 FsUrlStreamHandlerFactory IOUtils

上述就是小编为大家分享的Hadoop分布式文件系统中的HDFS是什么了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


标题名称:Hadoop分布式文件系统中的HDFS是什么
分享URL:http://dzwzjz.com/article/pcojoc.html
在线咨询
服务热线
服务热线:028-86922220
TOP