博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 0.20 jobtracker leasechecker 线程溢出问题分析与解决
阅读量:6317 次
发布时间:2019-06-22

本文共 581 字,大约阅读时间需要 1 分钟。

hot3.png

集群hadoop 0.20 使用oozie进行任务调度,运行一段时间,jobtracker发生崩溃。

分析其原因发现jobtracker在执行oozie提交的任务时,leasechecker线程不断增加,导致jobtracker崩溃。而使用hadoop 自带的命令行提交任务,线程不会增加。因此通过多方手段确定,oozie在向hadoop提交任务时,会提交配置文件到hdfs,而jobtracker的后续某些操作会直接使用提交上来的配置文件,在提交上来的配置文件中有fs禁止使用缓存一项,这就会导致jobtracker获取fs时,不停的创建相关实例而不释放。故此解决方法较为简单,oozie提交的配置文件中,不要禁止使用缓存即可。

相关代码:

src/mapred/org/apache/hadoop/mapred/JobInProgress.java 等initTasks方法调用JobHistory方法。传递的参数就包括jobCient传递过来的。

src/mapred/org/apache/hadoop/mapred/JobHistory.java 中的logSubmitted的fs = userLogFile.getFileSystem(jobConf)

转载于:https://my.oschina.net/u/937015/blog/744131

你可能感兴趣的文章
How to recover from root.sh on 11.2 Grid Infrastructure Failed
查看>>
rhel6下安装配置Squid过程
查看>>
《树莓派开发实战(第2版)》——1.1 选择树莓派型号
查看>>
在 Linux 下使用 fdisk 扩展分区容量
查看>>
结合AlphaGo算法和大数据的量化基本面分析法探讨
查看>>
如何在 Ubuntu Linux 16.04 LTS 中使用多个连接加速 apt-get/apt
查看>>
《OpenACC并行编程实战》—— 导读
查看>>
机器学习:用初等数学解读逻辑回归
查看>>
C语言OJ项目参考(2493)四则运算
查看>>
find和xargs
查看>>
数据结构例程—— 交换排序之快速排序
查看>>
IOS定位服务的应用
查看>>
php引用(&)
查看>>
Delphi 操作Flash D7~XE10都有 导入Activex控件 shockwave
查看>>
oracle 学习笔记之名词解释
查看>>
MySQL Cluster搭建与测试
查看>>
python数据分析画图体验
查看>>
军规15 确保集成和调用第三方APP
查看>>
Etcd和ZooKeeper,究竟谁在watch的功能表现更好?
查看>>
Shredding Company 碎纸机,dfs()枚举每一种情况,再加剪枝。
查看>>