随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。
关于Hadoop版本的选择？
Continue reading 给刚玩Hadoop的朋友一些建议
Archives
写几个Hadoop部署用到的小脚本
最近抛弃非ssh连接的hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。 Continue reading 写几个Hadoop部署用到的小脚本
搭建红外遥控arm-hadoop集群过程
很多人玩开发板用树莓派，树莓派的确很好，但是对于hadoop来说，内存有点小，只有512MB。所以我找了一圈，最后用的是国内一个开源硬件团队的产品叫CubieTruck。内存有2G，板载存储有8G，千兆网口，可以挂载2.5寸机械或SSD硬盘。
Hadoop自动化运维之创建deb包
2014第一篇博文，将来也会逐步写成一个系列，新年新气象。
将hadoop及其周边生态系统deb/rpm化对于自动化运维来说意义重大，建立好整个生态的rpm和deb然后再创建本地yum或者apt的源，可大大简化hadoop的部署和运维。实际上，cloudera和hortonworks都是这么做的。 Continue reading Hadoop自动化运维之创建deb包
基于异构arm硬件的Hadoop集群测试
3月份的时候做了单机版的hadoop on arm的测试，最近又买了一个新的arm板子，就考虑把他们串起来组一个hadoop集群。而且由于产品更新换代的问题，硬件上是异构的。
namenode是cubieboard一代，采用单核arm v7架构，1G内存，4G板载flash ROM Continue reading 基于异构arm硬件的Hadoop集群测试