Hadoop完全分布式开启日志聚合功能

一、说明

Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。

二、步骤

1.修改master的yarn-site.xml配置，新增：

	yarn.log-aggregation-enable
	true

 
	yarn.log-aggregation.retain-seconds
	2592000


	yarn.log.server.url
	http://192.168.217.100:19888/jobhistory/logs

[v_act]配置参数说明：[/v_act]

程序员导航

优网导航旗下整合全网优质开发资源，一站式IT编程学习与工具大全网站

立即访问

2.将yarn-site.xml远程copy到slave1和slave2

sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/
sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/

3.重启hadoop集群
4.在每个节点新增启动historyserver进程

sbin/mr-jobhistory-daemon.sh start historyserver