Hadoop 集群环境优化排除错误

一.总体步骤

1.更改主机名
2.yum源配置
3.修改hosts文件
4.关闭防火墙
5.关闭selinux
6.ssh免密配置
7.NTP时间同步
8.Java环境部署
9.Zookeeper环境部署
10.Hadoop环境部署

二.具体实现步骤

1.更改主机名称

hostname set-hostname master

2.yum源配置(根据题目给的地址灵活变通)

vi /etc/yum.repos.d/CentOS.repo
name=Description#一个描述，随意。
baseurl=#设置资源库的地址，可以写阿里云也可以是自己的yum
   ftp://
   http://
   file:///
enabled={1|0}#enabled=1开启本地更新模式
gpgcheck={1|0}# gpgcheck=1表示检查；可以不检查gpgcheck=0
gpgkey=#检查的key；如果上面不检查这一行可以不写

3.根据ip地址配置hosts

vi /etc/hosts
192.168.100.10 master
192.168.100.20 slave1
192.168.100.30 slave2

4.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

5.关闭selinux

vi /etc/sysconfig/selinux
SELINUX=disabled

6.ssh免密配置

输入ssh-keygen 回车
将生成文件公钥复制到授权列表
cat .ssh/id_rsa.pub >> authorized_keys
将文件复制到slave中的节点
scp .ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
scp .ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys
排错: 可能会出现ssh生成密码后，修改了hosts文件夹，导致known_hosts文件里面的内容不匹配
原因：ssh会把访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts 当下次访问系统计算机时，OpenSSH会核对公钥，如果公钥不同，OpenSSH会发出冲突警告
解决方案：手动修改Known_hosts内的内容
直接删除known_hosts文件
通过配置~/.ssh/config进行修改

7.NTP时间同步

tzselect 5 9 1 1 将生成的时区配置到/etc/profile
yum install ntp -y (主从节点全部安装)
vi /etc/ntp.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 127.127.1.0
fudge 127.127.1.0 stratum 10
启动ntp(只启动主节点，不启动从节点)
从节点执行: ntpdate master 完成时间同步