“大数据基本环境配置”的版本间的差异
201708010242(讨论 | 贡献) (→配置时间同步) |
201708010242(讨论 | 贡献) (→配置ssh免密登录) |
||
第116行: | 第116行: | ||
== 配置ssh免密登录 == | == 配置ssh免密登录 == | ||
+ | |||
+ | SSH 主要通过 RSA 算法来产生公钥与私钥,在数据传输过程中对数据进行加 密来保障数 | ||
+ | 据的安全性和可靠性,公钥部分是公共部分,网络上任一结点均可以访问, | ||
+ | |||
+ | |||
+ | 私钥主要用于对数据进行加密,以防他人盗取数据。总而言之,这是一种非对称 算法,想要破解还是非常有难度的。Hadoop 集群的各个结点之间需要进行数据 的访问,被访问的结点对于访问用户结点的可靠性必须进行验证,hadoop 采用 的是 ssh 的方法通过密钥验证及数据加解密的方式进行远程安全登录操作,当然, 如果 hadoop 对每个结点的访问均需要进行验证,其效率将会大大降低,所以才 需要配置 SSH 免密码的方法直接远程连入被访问结点,这样将大大提高访问效率 | ||
+ | |||
+ | |||
+ | 每个结点分别产生公私密钥: | ||
+ | |||
+ | ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa(三台机器) | ||
+ | |||
+ | 秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看: | ||
+ | |||
+ | cd .ssh/ | ||
+ | |||
+ | [[文件:Ssh免密登录.png]] | ||
+ | |||
+ | |||
+ | Id_dsa.pub 为公钥, id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文件:(仅 master) | ||
+ | cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作) | ||
+ | |||
+ | [[文件:复制秘钥.png]] | ||
+ | |||
+ | 在主机上连接自己,也叫做 ssh 内回环。 | ||
+ | |||
+ | ssh master | ||
+ | |||
+ | [[文件:Sshmaster.png]] | ||
== 安装JDK == | == 安装JDK == |
2018年11月11日 (日) 02:02的版本
.
搭建准备
搭建大数据环境之前默认已经安装好了linux,如未安装,请参考本维基百科上的linux安装教程-->安装Centos7
修改主机名
- 临时修改主机名
- su查看
# systemctl set-hostname master
- 永久修改主机名
# vim /etc/sysconfig/network
- 加上下面两句话
- NETWORKING=yes
- HOSTNAME=master
- 重启linux
# reboot
修改hosts
- 修改masterIP地址
# vim vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
在文件中写入以下内容
# vim vim /etc/sysconfig/network
- 重启网络服务
- # systemctl restart network
- 网络测试
- 在终端输入 ping 192.168.56.1测试
关闭防火墙
在命令行输入
# systemctl stop firewalld
# systemctl status firewalld
# systemctl disable firewalld
# service network restart
配置时间同步
- 时区一致。要保证设置主机时间准确,每台机器时区必须一致。实验中我们需要同步网络时间,因此要首先选择一样的时区。先确保时区一样,否则 同步以后时间也是有时区差。
- 可以使用 date 命令查看自己的机器时间。使用 date 命令查看自己的机器时间,使用 tzselect 命令选择时区
下载ntp
配置ssh免密登录
SSH 主要通过 RSA 算法来产生公钥与私钥,在数据传输过程中对数据进行加 密来保障数 据的安全性和可靠性,公钥部分是公共部分,网络上任一结点均可以访问,
私钥主要用于对数据进行加密,以防他人盗取数据。总而言之,这是一种非对称 算法,想要破解还是非常有难度的。Hadoop 集群的各个结点之间需要进行数据 的访问,被访问的结点对于访问用户结点的可靠性必须进行验证,hadoop 采用 的是 ssh 的方法通过密钥验证及数据加解密的方式进行远程安全登录操作,当然, 如果 hadoop 对每个结点的访问均需要进行验证,其效率将会大大降低,所以才 需要配置 SSH 免密码的方法直接远程连入被访问结点,这样将大大提高访问效率
每个结点分别产生公私密钥:
ssh-keygen -t dsa -P -f ~/.ssh/id_dsa(三台机器)
秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看:
cd .ssh/
Id_dsa.pub 为公钥, id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文件:(仅 master)
cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作)
在主机上连接自己,也叫做 ssh 内回环。
ssh master