hadoop扩充磁盘操作记录-创新互联

记录cloudera扩充磁盘

1、4台主机，每台主机增加一块2TB的硬盘

2、首先简单说明步骤

       A、分区，挂载（挂载目录（名称，路径）要一致）

       B、在挂载的分区内，建立对应的文件夹，并授权

       C、在cdh的hdfs配置界面，配置新增hdfs的目录，然后部署客户端配置，滚动重启

3、操作步骤

分区(LVM逻辑卷)：

       # pvcreate /dev/sdc

       # vgcreage Vgroup03 /dev/sdc

       # lvcreate –n cdh01 –L +1.8T Vgroup03

       # mkfs.ext4 /dev/mapper/Vgroup03-cdh01

挂载(一定要按照这个顺序输入)：

       # mkdir /cdh01

       #mount /dev/mapper/Vgroup01-cdh01 /cdh01

开机自动挂载

#vim /etc/fstab

       插入 /dev/mapper/Vgroup03-cdh01 /cdh01 ext4 defaults 0 1

       保存，退出

建文件夹：

       # mkdir /cdh01/dfs

       #mdkir /cdh01/dfs/dn

授权：

       # chown -R hdfs:hadoop /cdh01/dfs/

----------4台主机做同样的操作，分区挂载目录要一致-----------

登陆cdh，从集群中，选择HDFS

在中间的部分选择配置选项

在左侧的菜单栏中，选择DataNode Default Group

在已经有的目录后面的“+”号点新增一个目录，然后输入我们已经挂载好的目录，保存。

选择实例选项

选中DataNode的实例，选择滚动重启

重启完毕后，到HDFS集群的界面去看下，应该已经成功了

Datanode group“高级”，在右边的datanode卷选择策略中，选择“可用空间”，这样，后面的两个属性（“10G字节”和“0.75”）就会发挥作用，用于平衡各个卷中空间使用。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。