大数据课堂笔记HDFS的shell操作-创新互联

一、HDFS常用命令操作实战

启动Hadoop集群 执行命令   start-yarn.sh

创新互联企业建站,10年网站建设经验，专注于网站建设技术，精于网页设计，有多年建站和网站代运营经验，设计师为客户打造网络企业风格，提供周到的建站售前咨询和贴心的售后服务。对于成都网站制作、成都做网站、外贸营销网站建设中不同领域进行深入了解和探索，创新互联在网站建设中充分了解客户行业的需求，以灵动的思维在网页中充分展现，通过对客户行业精准市场调研，为客户提供的解决方案。

1.创建目录

(1).单层目录

执行命令  hdfs dfs -mkdir /ied

利用WebUI查看创建的目录

(2).创建多层目录

执行命令  hdfs dfs -mkdir -p /luzhou/lzy

利用WebUI查看创建的多层目录

2.查看目录

执行命令  hdfs dfs -ls /         查看根目录              

执行命令   hdfs dfs -ls /luzhou   

3.上传本地文件到HDFS

创建 test.txt 文件  执行命令   echo “hello world” >test.txt

上传 test.txt 文件到HDFS的 /ied目录，执行命令  hdfs dfs -put test.txt /ied

利用Hadoop WebUI界面查看是否上传成功

4.查看文件内容

执行命令：hdfs dfs -cat /ied/test.txt

5、下载HDFS文件到本地

先删除本地的test.txt文件 执行命令：rm -rf  test.txt

下载HDFS文件系统的 /ied/test.txt 到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt

将HDFS上的文件下载到本地指定位置,并且可以更改文件名

执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

检查是否下载成功

6、删除HDFS文件

执行命令： hdfs dfs -rm /ied/test.txt

检查是否删除成功

7.删除HDFS目录

执行命令：hdfs dfs -rmdir /luzhou

提示 -rmdir 命令删除不了非空目录

要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）

删除空目录 /BigData 执行命令：hdfs dfs -rmdir /BigData

8、移动目录或文件

将 /ied 目录更名为 /ied01，执行命令：hdfs dfs -mv /ied /ied01

利用Hadoop WebUI查看是否更名成功

将 /ied01/exam.txt 更名为 /ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt

9、文件合并下载

现在 /ied01 里有一个 test.txt ，创建 sport.txt 和 music.txt 并上传

合并/ied01目录的文件下载到本地当前目录的merger.txt

执行命令：hdfs dfs -getmerge /ied01/* merger.txt

查看本地的merger.txt，看是不是三个文件合并后的内容

10、检查文件信息

检查 test.txt 文件，执行命令：hdfs fsck /ied01/test.txt -files -blocks -locations -racks

执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01，将hadoop压缩包上传到HDFS的/ied01目录

查看HDFS上 hadoop-3.3.4.tar.gz 文件信息，执行命令：hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks

利用Hadoop WebUI来查看文件块信息更加方便，总共有6个文件块：Block0、Block1、Block2、Block3、Block4、Block5

第1个文件块信息

第6个文件块信息

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

网站标题：大数据课堂笔记HDFS的shell操作-创新互联
转载源于：http://dzwzjz.com/article/igjdc.html