“Hadoop 集群环境优化排除错误”的版本间的差异
来自CloudWiki
第59行: | 第59行: | ||
通过配置~/.ssh/config进行修改 | 通过配置~/.ssh/config进行修改 | ||
[[文件:2020.jpg]] | [[文件:2020.jpg]] | ||
+ | [[文件:QQ截图20201117130438.png]] | ||
2020年11月17日 (二) 05:15的版本
一.总体步骤
1.更改主机名
2.yum源配置
3.修改hosts文件
4.关闭防火墙
5.关闭selinux
6.ssh免密配置
7.NTP时间同步
8.Java环境部署
9.Zookeeper环境部署
10.Hadoop环境部署
二.具体实现步骤
1.更改主机名称
hostname set-hostname master
2.yum源配置(根据题目给的地址灵活变通)
vi /etc/yum.repos.d/CentOS.repo name=Description#一个描述,随意。 baseurl=#设置资源库的地址,可以写阿里云也可以是自己的yum ftp:// http:// file:/// enabled={1|0}#enabled=1开启本地更新模式 gpgcheck={1|0}# gpgcheck=1表示检查;可以不检查gpgcheck=0 gpgkey=#检查的key;如果上面不检查这一行可以不写
3.根据ip地址配置hosts
vi /etc/hosts 192.168.100.10 master 192.168.100.20 slave1 192.168.100.30 slave2
4.关闭防火墙
systemctl stop firewalld systemctl disable firewalld
5.关闭selinux
vi /etc/sysconfig/selinux SELINUX=disabled
6.ssh免密配置
输入ssh-keygen 回车 将生成文件公钥复制到授权列表 cat .ssh/id_rsa.pub >> authorized_keys 将文件复制到slave中的节点 scp .ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys scp .ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys 排错: 可能会出现ssh生成密码后,修改了hosts文件夹,导致known_hosts文件里面的内容不匹配 原因:ssh会把访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts 当下次访问系统计算机时,OpenSSH会核对公钥,如果公钥不同,OpenSSH会发出冲突警告 解决方案:手动修改Known_hosts内的内容 直接删除known_hosts文件 通过配置~/.ssh/config进行修改![]()
![]()
7.NTP时间同步
tzselect 5 9 1 1 将生成的时区配置到/etc/profile yum install ntp -y (主从节点全部安装) vi /etc/ntp.conf #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server 127.127.1.0 fudge 127.127.1.0 stratum 10 启动ntp(只启动主节点,不启动从节点) 从节点执行: ntpdate master 完成时间同步