Hadoop项目规划：硬件-创新互联

规划硬件我们主要介绍两个方面：一个是Master怎么规划，一个是Slave怎么规划，选择是不一样的。其他规划诸如容量以及操作系统的选择也会简单介绍，对于了解Hadoop的操作环境有着重要帮助作用。

首先我们看一下Slave，它是用来存储数据然后进行计算的，在选择配置的时候通常要优先考虑处理器。我们知道Hadoop的核心并不是在单台机器上进行多复杂的运算，它是分布式的，所以对于处理器的要求并不高，那么选择中等的数据器就可以（比如：2*6核2.9主频）。

至于内存方面，要尽可能给高一点，中端给到256GB RAM，高端的给到512GB RAM。网络方面中端给到1GB以太网，高端的给到10GB以太网。这里重点要讲的是磁盘驱动，16*3TB SATA驱动（中端的），24*1TB SAS驱动（高端的），我们发现越高端磁盘越多，访问效率也就越高。在磁盘驱动这里也会涉及到一个概念Non-RAID，大家了解一下，具体可以自己去挖掘。

交换机使用专用的网络设施，Hadoop将会使资源饱和，节点都连接到机架交换机，机架之间通过核心交换机通信。

接下来我们重点强调Master节点，Master没有业务数据，不需要计算，但是Master存储有源数据，所以Master节点很重要，在使用机器的时候如果条件允许，最好选择高端的机器，运营商级别的硬件，双电源、以太网卡，所有的模块都做冗余。它配置有Raid，因为Master上面就是源数据，数据没有拷贝。20个节点以下集群配置64GB RAM，300个节点以下集群配置96GB内存，更大的集群配置128GB内存。

至于容量规划以及操作系统的选择，我们不做过多的说明，了解就可以。容量规划我们重点考虑复本机制和临时空间，以及服务器本身需要的空间。在这里我们必须清楚Hadoop自动使用新节点，很多集群开始很小（少于10个节点），并随着数据和处理的增长而增长，Hadoop集群可以增长到上千个节点。而操作系统一般选择擅长管理的发行版，也可以了解一下几个：CentOS：面向服务器，而不是工作站；RedHat企业版linux；Ubuntu非常流行的发行版；使用LTS（长期支持）的版本；SuSE在欧洲非常流行的发行版。

以上就是根据自己的经验对Hadoop硬件环境做的一个介绍，如果有什么不清楚的，比如Non-raid，可以自己去找资源充电。我平常也喜欢看一些别人分享的学习知识，从而弥补自己知识体系的欠缺，比如“大数据时代学习中心”。另外喜欢看一些实际的大数据案例，试着去分析案例中的问题，不断提升自己调用知识的能力，比如“大数据cn”，大家共勉，一起进步。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。