hadoop1.1.2集群安装的示例分析

小编给大家分享一下hadoop1.1.2集群安装的示例分析，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

公司主营业务：成都网站制作、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出井陉免费做网站回馈大家。

构建hadoop集群

a>vmbox复制  或者vmware克隆  得到新的虚拟机

b>新建一个ip--Connection修改，然后固定一个ip值

c>修改主机名

      1 修改hostname

                   (1)执行命令hostname cloud4  修改会话中的hostname

                   (2)验证:执行命令hostname

                   (3)执行命令vi  /etc/sysconfig/network 修改文件中的hostname

                   (4)验证:执行命令reboot -h now 重启机器

      2 设置ip与hostname绑定

                   (1)执行命令vi  /etc/hosts

                            在文本最后增加一行192.168.80.101 cloud41

                   (2)验证:ping cloud4

(3)在window中配置:主机名对应的ip

C:\Windows\System32\drivers\etc\hosts

d> ssh免密码登陆

新建就要配置

                   //(1)执行命令ssh-keygen -t rsa （然后一路Enter）  产生秘钥位于/root/.ssh/

                   //(2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys  产生授权文件

                   //(3)验证:ssh localhost

如果克隆的直接下一步：

判断本系统是否密码配置成功：

ssh cloud4  (ssh 主机名)

（主节点把密码传到从节点）

ssh-copy-id  -i  cloud41

转到从节点

ssh cloud41

（从节点把密码传到主节点）

ssh-copy-id  -i  cloud4

e>复制主节点的jdk和hadoop到对方

（-r递归）

scp  -r  /usr/local/jdk   cloud41:/usr/local

scp  -r  /usr/local/hadoop   cloud41:/usr/local

scp  /etc/profile   cloud41:/etc

source /etc/profile 配置文件生效

f>修改 hadoop/conf/slaves来添加从节点

子节点可以是--------Slaves内容如下：

localhost(可要可不要，判断要不要主节点存放数据，一般dataNode放在从节点中)

cloud41,cloud42

g>在主节点启动，从节点不执行以下命令

格式化hadoop的namenode

hadoop namenode –format

start-all.sh

h>如果配置成功

主节点：

[root@cloud41 ~]# jps

4020 NameNode

4353 JobTracker

4466 TaskTracker

4508 Jps

4275 SecondaryNameNode

4154 DataNode

从节点：

[root@cloud41 ~]# jps

3286 TaskTracker

3352 Jps

3194 DataNode

i>新节点的加入：

1.   启动新节点：（datanode，tasktracker）

hadoop/bin

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

2.   在主节点重新获取从节点

hadoop dfsadmin –refreshNodes

3.   主节点设置负载均衡

hadoop/bin

(可选)在主节点上执行负载均衡命令 start-balance.sh

4.修改副本数  

hadoop fs -setrep 2   /hello  

5.修改安全模式状态   

         hadoop dfsadmin -safemode leave|enter|get   （leave表示关闭安全模式）

以上是“hadoop1.1.2集群安装的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！