Hadoop运维记录系列(十五)

Home

早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买了一本巨厚的BIND手册。

做DNS服务器最常用的就是BIND，ISC开发并维护的开源系统。

以centos6为例，使用BIND 9.8.2，在域名解析服务器上安装bind和域名正反向查询工具

yum install bind bind-utils

安装完成后，配置文件在 /etc/named.conf，域名数据文件通常我们会放在 /var/named，配置文件不是很复杂。留一个小问题，172.16.0.0/18写成子网掩码应该写多少？在该子网内可用的IP地址范围是多少？

/etc/named.conf

//
// named.conf
//
// Provided by Red Hat bind package to configure the ISC BIND named(8) DNS
// server as a caching only nameserver (as a localhost DNS resolver only).
//
// See /usr/share/doc/bind*/sample/ for example named configuration files.
//
 
options {
        listen-on port 53 { 172.16.0.2; }; //监听内网地址53端口, ns1要改成172.16.0.1
//      listen-on-v6 port 53 { ::1; }; //不监听IPv6
        directory       "/var/named"; //DNS数据文件存储目录
        dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        allow-query     { 172.16.0.0/18; }; //允许172.16.0.0/18的子网IP主机进行查询，任意主机写any;
        recursion yes; //允许递归查询
 
        dnssec-enable yes;
        dnssec-validation yes;
        dnssec-lookaside auto;
 
        /* Path to ISC DLV key */
        bindkeys-file "/etc/named.iscdlv.key";
 
        managed-keys-directory "/var/named/dynamic";
};
 
logging {
        channel default_debug {
                file "data/named.run";
                severity dynamic;
        };
};
 
zone "." IN {
        type hint;
        file "named.ca";
};
 
zone "hadoop" IN { //我们的hadoop域
        type master;
        file "hadoop.zone"; 
};
 
zone "16.172.in-addr.arpa" IN { 
        type master;
        file "172.16.zone"; 
};
 
include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

 

然后是正向解析文件 /var/named/hadoop.zone

$TTL 600
$ORIGIN hadoop.
@       IN      SOA     ns1     root ( ;SOA部分必写
        0; Serial
        1D; Refresh
        1H; Retry
        1W; Expire
        3H); Negative Cache TTL
 
@       IN      NS      ns1.hadoop.
@       IN      NS      ns2.hadoop.
;用两台namenode同时担负nameserver，反正namenode平时也没什么具体事干，DNS查询走udp端口，不会对 namenode造成压力
;另外一个原因是namenode基本不会挂，而DN等服务器比较容易挂，所以NN同时做NS也更稳定，当然，有钱可以单独购置NS服务器，土豪请随意。
;两台namenode一起
ns1             IN      A       172.16.0.1
ns2             IN      A       172.16.0.2
 
;两台正向解析服务器的A记录，至于A, CNAME, MX等含义不解释了。
 
namenode-01     IN      A       172.16.0.1
namenode-02     IN      A       172.16.0.2
;服务器的A记录

反向解析文件 /var/named/172.16.zone

反向解析文件里需要把IP地址的顺序倒过来写，例如，172.16.0.1在反向文件里要写成1.0.16.172，所以，文件名命名为16.172.zone更符合规则。

$TTL 600
@ IN SOA namenode-01.hadoop. root.namenode-01.hadoop. ( //SOA部分必写
        0; Serial
        1D; Refresh
        1H; Retry
        1W; Expire
        3H); Negative Cache TTL
; 反向解析文件里不能有$ORIGIN，所以在下面先写上全部主机名
@       IN      NS      ns1.hadoop.
@       IN      NS      ns2.hadoop.
 
1.0     IN      PTR     ns1.hadoop. 
2.0     IN      PTR     ns2.hadoop.
1.0     IN      PTR     namenode-01.hadoop.
2.0     IN      PTR     namenode-02.hadoop.

 

全部完成后执行

chkconfig --add named
service named restart

接下来在所有主机的/etc/resolv.conf文件中添加

nameserver 172.16.0.1
nameserver 172.16.0.2

然后删除所有主机中的hosts文件内容，只保留127.0.0.1

用nslookup测试一下

[root@namenode-01 named]# nslookup 
> set q=A
> namenode-02.hadoop
Server:         172.16.0.1
Address:        172.16.0.1#53
#正向查询
Name:   namenode-02.hadoop
Address: 172.16.0.2
> set q=PTR
> 172.16.0.2
Server:         172.16.0.1
Address:        172.16.0.1#53
#反向查询
2.0.16.172.in-addr.arpa name = namenode-02.hadoop.
 
####然后关闭ns1的DNS服务进行测试。
 
[root@namenode-01 named]# service named stop
停止 named：.                                              [确定]
[root@namenode-01 named]# nslookup          
> set q=A
> namenode-01.hadoop
Server:         172.16.0.2
Address:        172.16.0.2#53
 
Name:   namenode-01.hadoop
Address: 172.16.0.1
> set q=PTR
> 172.16.0.1
Server:         172.16.0.2
Address:        172.16.0.2#53
 
1.0.16.172.in-addr.arpa name = namenode-01.hadoop.

 

 

这样，做好了Namenode高可用，也勉强算是做好了DNS的高可用，集群中任意一台Namenode挂机，也不会影响整个集群的正常服务，新买的服务器只需要装好操作系统，在/etc/resolv.conf里面设置两个nameserver的IP地址即可，这就比hosts文件方便多了。

发表回复

*
*

Required fields are marked *