大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
本篇文章给大家分享的是有关如何理解Yarn的日志聚合,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
在息烽等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、网站建设 网站设计制作按需求定制开发,公司网站建设,企业网站建设,品牌网站建设,成都全网营销推广,外贸网站建设,息烽网站建设费用合理。
1、Yarn日志聚合
Yarn中的任务执行完成后,再想查看历史日志一般都查不到了,因为这时候运行任务的Container已经释放了,这种情况我们可以开启Yarn的日志聚合功能。
首先配置yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800 yarn.nodemanager.remote-app-log-dirs /tmp/logs yarn.log.server.url http://localhost:19888/jobhistory/job/
然后启动history-server,RM,NM
start-yarn.cmd,sbin\mr-jobhistory-daemon.sh start historyserver
提交mapreduce作业到Yarn等执行完成后看看历史日志服务器能否看到。
提示:最好在linux上安装,我在windows下启动historyServer失败了。
【yarn日志参数】
yarn.log-aggregation-enable true 执行结束后收集各个container本地的日志 yarn.log-aggregation.retain-seconds 2592000 收集的日志的保留时间,以秒为单位,到时后被删除,保留30天后删除 yarn.log.server.url http://hostname:19888/jobhistory/logs log server的地址yarn.nodemanager.local-dirs /hadoop/yarn/local 存放application执行本地文件的根目录,执行完毕后删除,按用户名存储 yarn.nodemanager.log-dirs /hadoop/yarn/log 存放application本地执行日志的根目录,执行完毕后删除,按用户名存储 yarn.nodemanager.log.retain-second 604800 日志的保留时间,log aggregation没有enable时,有效 yarn.nodemanager.remote-app-log-dir /app-logs 聚合日志后在hdfs的存放地址 yarn.nodemanager.remote-app-log-dir-suffix logs 集合日志后的存放地址由 ${remote-app-log-dir}/${user}/{thisParam}构成 yarn.nodemanager.delete.debug-delay-sec 600 application执行结束后延迟10min删除本地文件及日志
2、Spark On Yarn日志
Spark本身也有日志聚合功能(日志聚合是为了程序运行完成之后还能看到日志,否则只有在运行过程中才能看日志,因为运行完之后executor就释放了)
配置Spark日志聚合,在spark-defaults.conf中设置:
spark.eventLog.enable=true
spark.eventLog.dir = hdfs:///spark-history/logs
然后启动spark historyServer就可以在默认端口18080上看到spark的历史聚合日志了。
当在Yarn上提交spark的时候,Yarn的8088端口上进入任务的History链接,默认是到Yarn的historyServer的端口19888的,不会自动跳转到Spark的18080端口。
如果要自动跳转到Spark的historyServer 18080端口,需要在spark-defaults.conf中添加配置:
spark.yarn.historyServer.address=http://spark-history:18080
添加SPARK_HISTORY_OPTS参数
# vi spark-env.sh
#!/usr/bin/env bash
export SCALA_HOME=/root/learnproject/app/scala
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_CONF_DIR=/root/learnproject/app/hadoop/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
-Dspark.history.ui.port=18080 \
-Dspark.history.retainedApplications=20"
然后就可以了。
以上就是如何理解Yarn的日志聚合,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。