大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

Hadoop集群该怎么搭建-创新互联

本篇内容主要讲解“Hadoop集群该怎么搭建”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop集群该怎么搭建”吧!

创新互联是一家专注于网站制作、成都网站制作与策划设计,山阳网站建设哪家好?创新互联做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:山阳等地区。山阳做网站价格咨询:13518219792

一、Hadoop集群的基本概念。

Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下:

1、独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

2、伪分布运行模式伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布运行模式。

3、集群模式如果Hadoop对应的Java进程运行在多台物理机器上,称为集群模式。

二、Hadoop集群搭建步骤。

1.服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本:

Vmware 14.0

Centos 6.7 64bit

2.配置网卡

终端输入 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0

输入IP地址,子网掩码,网卡,域名服务器

3.测试网卡配置是否正确

重启网络服务 输入 service network restart

输入 ping www.baidu.com 如果能ping通,则网卡配置成功

4.修改主机名

输入 vi /etc/sysconfig/network ,修改主机名

5.关闭防火墙

service iptables stop 仅仅关闭一次

chkconfig iptables off 永久关闭

6.安装ssh客户端

执行yum install -y openssh-clients

7.克隆服务器

关闭虚拟机,右键 > 管理 > 克隆,选择完整克隆

为克隆好的机子配置网卡,执行 vi /etc/udev/rules.d/70-persistent-net.rules

执行 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0,修改IP地址即可

执行 vi /etc/sysconfig/network ,修改主机名为hadoop02

重复上述步骤,建立hadoop03服务器

重启每部机子,使网卡生效

8.hosts映射

执行 vi /etc/hosts,输入以下内容,在Windows的 C:\Windows\System32\drivers\etc\hosts下也输入以下内容

9.ssh链接及免密登录

在hadoop01服务器上输入 ssh hadoop02,测试ssh连接是否成功,

在hadoop01服务器上新建 vi Auto.sh文件,文件中写入免密脚本

执行脚本即可实现免密登录(只是单项免密)

10.安装JDK

1:把JDK安装包上传到linux

2 : 解压文件到安装目录 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/

3 : 配置环境变量 vi /etc/profile,在末尾输入

export PATH=$PATH:$JAVA_HOME/bin

11.安装Hadoop

1 : 上传hadoop安装包

2 : 解压文件到安装目录 tar -zxvf /root/hadoop-2.8.3.tar.gz -C /usr/local/

3 : 进入hadoop安装目录下,cd hadoop-2.8.3/etc/hadoop下开始配置文件

4 : 执行vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里

The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.7.0_51

export JAVAHOME改为绝对路径

5 : 执行vi core-site.xml

6 : vi hdfs-site.xml

7 : 执行改名cp mapred-site.xml.tmp* mapred-site.xml

vi mapred-site.xml

8 : vi yarn-site.xml

9 : vi salves

10 : 配置环境变量 vi /etc/profile

12.另外两台服务器的JDK和hadoop安装

把第一台安装好的jdk和hadoop以及配置文件发送给另外两台

hosts文件 scp -r /etc/hosts/ hadoop02:/etc/

jdk安装后的文件夹 scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

Hadoop安装后的文件夹scp -r /usr/local/hadoop-2.8.3 hadoop02:/usr/local/

/etc/profile 配置文件 scp -r /etc/profile hadoop02:/etc/

hadoop03做同样操作

13.启动Hadoop集群

初始化HDFS(在hadoop01进行操作)

bin/hadoop namenode -format

启动HDFS

启动YARN

hadoop集群搭建成功!

三、Hadoop集群搭建注意事项。

在初次搭建hadoop的过程难免会出现一些问题。诸如集群突然显示虚拟机出现了问题,导致某一个DataNode数据丢失 并且无法通过Xshell远程访问其他的DataNode 主机和虚拟机无法互相ping通,如果网上能找的解决办法基本都找了,却依然无法解决,就可以删除虚拟机,重新克隆一台机器。

到此,相信大家对“Hadoop集群该怎么搭建”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


网页标题:Hadoop集群该怎么搭建-创新互联
URL分享:http://dzwzjz.com/article/jgsge.html
在线咨询
服务热线
服务热线:028-86922220
TOP