“搭建ambari管理平台”的版本间的差异

2018年7月23日 (一) 09:07的版本

基本环境配置

本任务以两台节点为例来组建 Hadoop分布式集群，这里采用的系统版本为CentOS 7，具体要求见表2-1。

表2-1 集群主机规划

主机名内存硬盘 IP地址角色

master 4 GB 25 GB 192.168.200.131 Ambari-Server、Ambari-Agent、MySQL

slave1 4 GB 25 GB 192.168.200.133 Ambari-Agent

CRT下载地址http://10.10.0.101/bigdata-development/SecureCRSecureFXP.zip

配置主机名

根据表中的资源配置来组建大数据基础平台。首先需要配置主机名。

1 配置主机名。

master

hostnamectl set-hostname master

hostname

master

slave1

hostnamectl set-hostname slave1

hostname

slave1

2 修改 hosts 映射文件

master

vi /etc/hosts

192.168.200.131 master.hadoop master

192.168.200.133 slave1.hadoop

（注意：IP地址要跟自己的实际IP地址保持一致）

slave1

vi /etc/hosts

192.168.200.131 master.hadoop

192.168.200.133 slave1.hadoop slave1

（注意：IP地址要跟自己的实际IP地址保持一致）

配置Yum源

master

注意：因为安装大数据相关软件包时，可能会用到相关依赖软件包，所以需要配置CentOS 7 Yum 源，可以配置CentOS 7的本地Yum源文件，如果有网络的话也可以配置公网的Yum源。这里可以采用本地 CentOS 7 Yum 源。

master& slave1

cd /etc/yum.repos.d/

rm -vf *

注意：如果配置公网Yum源，则不需要删除原来的repo文件。

编写REPO文件，指定Ambari安装包路径和CentOS 7安装包路径。

vi ambari.repo

[ambari]

baseurl=http://10.10.0.101/bigdata2.2/ambari-2.2.2/ambari/

1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

gpgcheck=0

enabled=1

name=ambari

[centos7]

name=centos7

baseurl=http://10.10.0.101/centos/7.2/

1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

enabled=1

gpgcheck=0

配置完之后执行 yum repolist 验证

安装apache服务器： yum -y install httpd

4 配置ntp。

master

yum -y install ntp

vi /etc/ntp.conf

注释或者删除以下4行

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

添加以下两行

server 127.127.1.0

fudge 127.127.1.0 stratum 10

保存退出，然后在命令行执行命令：

#systemctl enable ntpd

#systemctl start ntpd

slave1

yum -y install ntpdate

ntpdate master.hadoop

systemctl enable ntpdate

配置SSH

master& slave1

 50  yum install openssh-clients
   52  ssh-keygen
   53  ssh-copy-id master.hadoop
  54  ssh-copy-id slave1.hadoop

检查 2个节点是否可以通过无密钥相互访问，如果未配置，则进行SSH无密码公钥认证配置。

ssh master.hadoop

exit

ssh slave1.hadoop

exit

ssh登录远程主机查看是否成功。

6 禁用 Transparent Huge Pages。

操作系统后台有一个khugepaged 的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4k page交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且这个过程对于应用是透明的，在应用层面不可控制，对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

master& slave1

cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never]

重启后失效，需要再次执行。

7 安装配置 JDK。

master

mkdir /usr/jdk64/

cd /usr/jdk64/

wget http://10.10.0.101/bigdata2.2/jdk-8u77-linux-x64.tar.gz

tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/

vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

java -version

Java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

slave1

mkdir /usr/jdk64/

cd /usr/jdk64/

scp master.hadoop:/usr/jdk64/jdk-8u77-linux-x64.tar.gz .

tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/

vi /etc/profile