大数据学习实践总结(2)--环境搭建，JAVA引导，HADOOP搭建-创新互联

PS:后续的文章会把我实践的内容分解成为一个个的小模块，方便大家的学习，交流。文未我也会附上相关的代码。一起加油！   学有三年的大数据原理，一直没有实践过。最近准备离职，正好把自己所学的大数据内容全部实践一下，也不至于只会纯理论。面对实践，首先要有空杯心态，倒空自己之后，才能学到更多，加油！也希望大家多关注，以后会更多注重实践跟原理的结合。

环境搭建

  对于大数据，重点在于Hadoop的底层架构。虽说现在spark架构用的还是比较多。但hadoop还是基础。还有就是为什么要以Linux为基础，主要是因为现行网站大部分服务端都是在linux系统中。这一点，个人感觉还是在文件读取及数据调用这方面有很多优点。而linux的开源，又方便了大多数编程人员对于系统的理解。而装有linux又对Python编程有很大帮助。至于坊间流传的：人生苦短，你要用Python.个人的理解的，用Python编程起来会非常简单。而且只要是装有Linux系统就可以。

  对于环境搭建这一部分，操作过程中。大的困难就是在于NAT的设置，对于这一步，没有按照视频内容一步步来操作。在为我是用无线来操作的，而大部分个人PC在无线链接后获取到的IP都是192.168网段，当虚拟机要跟主机以NAT方式来进行通信时，就要设置在不同网段内，而我个人是将虚拟机的改为172.20的这一网段。不至于影响到后续操作。

JAVA引导

  对于这一部分，由于前期在R原理课时，学过这一块的相关设置环境变量。再在虚机的linux上进行相关设置就能够深入明白其原理。并将原来引导都指向相关路径。

  这一部分主要的难点就是vim编辑器的理解，相关命令的解释。当时大的困惑就是在打开一个文件后，如何编辑，如何保存退出。后来通过查找百度，看一些技术贴子之后才逐步明白vim编辑器的用法。还有就是对于原理的理解，还有就是英语要好，遇到报错之后，要知道从×××解决的办法，并实践执行。在一个地方卡住，一定要在一天内解决，要不然对人的学习积极性打击很大。

Hadoop搭建

  这一部分，vim命令是最多的。也即在hadoop-1.2.1下如何设置相关的参数，最后datanode,jobtrack,tasktrack,namenode这些关键进程是否起来。而这一部分，是自己在格式化namenode后，多次进行开启服务才起来的。这一块可能涉及到三台虚机的互联以及相互传递参数。所以这一块是最慢的。 还有一个难点，就是你的虚机上若是没有公钥文件（我的就没有）。这就需要用touch 来建立，而在检测用户权限的时候，又要用到chmod命令。总之，这一部分内容是综上有点难度的，需要你能综合写vim命令，同时对hadoop的相关进程有所了解。

总结

 现在就差Python的命令了，就觉得，理论跟实践真的很不一样，不断的学习过程中，不光要克服代码上的天生缺陷，也要对内核原理有更深入的理解。好在已经养成的好习惯，会把工作中的操作都一一记录下来。便于后续学习跟理解。也欢迎大家一起来讨论。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。