公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。
DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于java?scala?没太细了解，直接下来就能用，需要java1.8以上。 Continue reading Hadoop监控分析工具Dr.Elephant
Archives
Hadoop运维记录系列(十四)
周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。
该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑一下就好了。 Continue reading Hadoop运维记录系列(十四)