Hadoop监控分析工具Dr.Elephant-创新互联

公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。

10年积累的成都做网站、网站建设经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计后付款的网站建设流程，更有辽中免费网站建设让你可以放心的选择与我们合作。

DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于java?scala?没太细了解，直接下来就能用，需要java1.8以上。

prerequest list:

Java 1.8

PlayFramework+activator

Nodejs+npm

scala+sbt

编译服务器是设立在美国硅谷的某云主机，之前为了bigtop已经装好了java,maven,ant,scala,sbt等编译工具，所以下载activator解压放到/usr/local并加入PATH即可。

然后从 github clone一份dr-elephant下来，打开compile.conf，修改hadoop和spark版本为当前使用版本，:wq保存退出，运行compile.sh进行编译，经过短暂的等待之后，因为美国服务器，下依赖快。会有个dist文件夹，里面会打包一个dr-elephant-2.0.x.zip，拷出来解压缩就可以用了。

DRE本身需要mysql 5.5以上支持，或者mariadb最新的10.1稳定版本亦可。这里会有一个问题，就是在DRE/conf/evolutions/default/1.sql里面的这三行：

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id); create index yarn_app_result_i5 on yarn_app_result (job_def_id); create index yarn_app_result_i6 on yarn_app_result (flow_def_id);

由于在某些数据库情况下，索引长度会超过数据库本身的限制，所以，需要修改索引长度来避免无法启动的情况发生。

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id(150)); create index yarn_app_result_i5 on yarn_app_result (job_def_id(150)); create index yarn_app_result_i6 on yarn_app_result (flow_def_id(150));

然后就应该没啥问题了。

到数据库里创建一个叫drelephant的数据库，并给出相关访问权限用户

接下来是需要配置DRE：

打开app-conf/elephant.conf

# Play application server port # 启动dre后play框架监听的web端口 port=8080 # Database configuration # 数据库主机，用户名密码库名 db_url=localhost db_name=drelephant db_user="root" db_password=

其他默认即可，不需更改

然后是GeneralConf.xml

       drelephant.analysis.thread.count     3     Number of threads to analyze the completed jobs           drelephant.analysis.fetch.interval     60000     Interval between fetches in milliseconds           drelephant.analysis.retry.interval     60000     Interval between retries in milliseconds           drelephant.application.search.match.partial     true     If this property is "false", search will only make exact matches   

修改drelephant.analysis.thread.count，默认是3，建议修改到10，3的话从jobhistoryserver读取的速度太慢，高于10的话又读取的太快，会对jobhistoryserver造成很大压力。下面两个一个是读取的时间周期，一个是重试读取的间隔时间周期。

然后到bin下执行start.sh启动。And then, show smile to the yellow elephant。

装完看了一下这个东西，其实本身原理并不复杂，就是读取各种jmx，metrics，日志信息，自己写一个也不是没有可能。功能主要是把作业信息里的内容汇总放到一屏里面显示，省的在JHS的页面里一个一个点了。

That's it, so easy

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

当前名称：Hadoop监控分析工具Dr.Elephant-创新互联
URL网址：http://dzwzjz.com/article/dgchco.html