公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。
DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于java?scala?没太细了解，直接下来就能用，需要java1.8以上。 Continue reading Hadoop监控分析工具Dr.Elephant
Archives
Apache Bigtop与卖书求生
快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。 Continue reading Apache Bigtop与卖书求生
Hadoop运维记录系列(十七)
上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。
首先，对方已经做好了Hive访问HBase，所以spark-sql原则上可以通过调用Hive的元数据来访问Hbase。但是执行极慢，而且日志无报错。中间都是邮件沟通，先问了几个问题，是否启用了Kerberos，是否Hive访问Hbase正常，HBase shell访问数据是否正常等等，回答说没有用Kerberos，Hive访问Hbase正常，spark-sql读取Hive元数据也正常，Hbase shell也正常，就是spark-sql跑不了。 Continue reading Hadoop运维记录系列(十七)
Hadoop运维记录系列(十六)
应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。
- Active的namenode元数据硬盘满了，满了，满了…上来第一句话就如雷贯耳。
- 运维人员发现硬盘满了以后执行了对active namenode的元数据日志执行了 echo “” > edit_xxxx-xxxx…第二句话如五雷轰顶。
- 然后发现standby没法切换，切换也没用，因为standby的元数据和日志是5月份的…这个结果让人无法直视。
Hadoop运维记录系列(十五)
早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买了一本巨厚的BIND手册。 Continue reading Hadoop运维记录系列(十五)
Hadoop运维记录系列(十四)
周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。
该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑一下就好了。 Continue reading Hadoop运维记录系列(十四)
Hadoop的word co-occurrence实现
Word Co-occurrence一直不知道该怎么正确翻译, 单词相似度?还是共生单词?还是单词的共生矩阵?
这在统计里面是很常用的文本处理算法,用来度量一组文档集中所有出现频率最接近的词组.嗯,其实是上下文词组,不是单词.算是一个比较常用的算法,可以衍生出其他的统计算法.能用来做推荐,因为它能够提供的结果是”人们看了这个,也会看那个”.比如做一些协同过滤之外的购物商品的推荐,信用卡的风险分析,或者是计算大家都喜欢什么东西. Continue reading Hadoop的word co-occurrence实现
Hadoop2的ResourceManager高可用配置
Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Hadoop就可以往生产环境逐渐切换了。 Continue reading Hadoop2的ResourceManager高可用配置
Hadoop运维记录系列(十三)
记录一下在2.x里面不会很常见的报错。只是在测试集群中发生，生产集群大概很少有人会去重启Namenode吧，特别是做了HA的。
场景是在2.x里做好了Namenode HA，以Namespace URI方式访问HDFS时，报错，然后两个Namenode貌似都是standby，然后历史任务服务器无法启动，HBase的Master也无法启动。其实这个故障很简单。 Continue reading Hadoop运维记录系列(十三)
阿姆憨杜普(ARM Hadoop)集群荣获硬蛋大赛奖项
基于arm架构硬件的Hadoop HBase集群参加了首届科通芯城的硬蛋i未来硬件创新大赛，进入决赛，最后拿到了十佳项目。有奖杯为证。 Continue reading 阿姆憨杜普(ARM Hadoop)集群荣获硬蛋大赛奖项