Hadoop中如何使用命令行接口运行Mini集群

这篇文章主要为大家展示了“Hadoop中如何使用命令行接口运行Mini集群”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop中如何使用命令行接口运行Mini集群”这篇文章吧。

公司主营业务：成都做网站、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出上城免费做网站回馈大家。

目的：

使用命令行接口运行Mini集群，用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群，不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。

这个案例适合想要快速体验一个真实的Hadoop集群或者测试一个没有java程序的功能。

Hadoop Tarbar

你应该尽可能的使用Hadoop tarball的release版本，当然，你也可以从源代码创建一个tarball：

$mvn clean install -DskipTests
$mvn package -pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意：在安装tarball之前需要 protoc 2.5.0被安装

tarball竟可能的安装在hadoop-dist/target/目录。

运行Mini集群：

从root目录解压出tarball，你可以使用下面的命令启动CLI Mini集群：

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.1-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上边命令行的例子中，RM_PORT和JHS_PORT应该被用户选择的端口号替换。如果没有被指定，将会随机分配端口给用户。

通过其他的属性配置，当控制服务启动的时候这儿有一些控制命令参数可以被用户使用。 有效的命令行参数：

$ -D     Options to pass into configuration object
$ -datanodes        多少datanode节点被启动 (默认为1)
$ -format                格式化DFS(默认为false)
$ -help                  打印帮助信息.
$ -jhsport          (default 0--we choose)
$ -namenode         NameNode的URL (默认是DFS集群或者一个临时目录)
$ -nnport           NameNode port (default 0--we choose)
$ -nodemanagers     多少个NameNodes被启动 (default 1)
$ -nodfs                 不允许启动一个 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport           ResourceManager 端口(default 0--we choose)
$ -writeConfig     保存配置到指定的文件（path）.
$ -writeDetails    以json格式写入基本信息到指定的目录（path）.

用户可以通过-help参数命令显示了有效列表的参数使用方法。

以上是“Hadoop中如何使用命令行接口运行Mini集群”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！