搭建ambari管理平台

来自CloudWiki
Cloud17（讨论 | 贡献）2018年7月23日 (一) 08:29的版本 （创建页面，内容为“1）基本环境配置 本任务以两台节点为例来组建 Hadoop分布式集群，这里采用的系统版本为CentOS 7，具体要求见表2-1。 表2-1 集…”）
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至： 导航， 搜索

1）基本环境配置

本任务以两台节点为例来组建 Hadoop分布式集群，这里采用的系统版本为CentOS 7，具体要求见表2-1。

表2-1 集群主机规划

主机名 内存 硬盘 IP地址 角色

master 4 GB 25 GB 192.168.200.131 Ambari-Server、Ambari-Agent、MySQL

slave1 4 GB 25 GB 192.168.200.133 Ambari-Agent

CRT下载地址http://10.10.0.101/bigdata-development/SecureCRSecureFXP.zip


根据表中的资源配置来组建大数据基础平台。首先需要配置主机名。

1 配置主机名。

  1. master
  1. hostnamectl set-hostname master
  1. hostname

master

  1. slave1
  1. hostnamectl set-hostname slave1
  1. hostname

slave1

2 修改 hosts 映射文件

  1. master
  1. vi /etc/hosts

192.168.200.131 master.hadoop master

192.168.200.133 slave1.hadoop

（注意：IP地址要跟自己的实际IP地址保持一致）

  1. slave1
  1. vi /etc/hosts

192.168.200.131 master.hadoop

192.168.200.133 slave1.hadoop slave1

（注意：IP地址要跟自己的实际IP地址保持一致）


3 配置Yum源。

  1. master

注意：因为安装大数据相关软件包时，可能会用到相关依赖软件包，所以需要配置CentOS 7 Yum 源，可以配置CentOS 7的本地Yum源文件，如果有网络的话也可以配置公网的Yum源。这里可以采用本地 CentOS 7 Yum 源。

  1. master& slave1
  1. cd /etc/yum.repos.d/
  1. rm -vf *


注意：如果配置公网Yum源，则不需要删除原来的repo文件。

编写REPO文件，指定Ambari安装包路径和CentOS 7安装包路径。

  1. vi ambari.repo
[ambari]

baseurl=http://10.10.0.101/bigdata2.2/ambari-2.2.2/ambari/

    1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

gpgcheck=0

enabled=1

name=ambari

[centos7]

name=centos7

baseurl=http://10.10.0.101/centos/7.2/

    1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

enabled=1

gpgcheck=0

4 配置ntp。

  1. master
  1. yum -y install ntp
  1. vi /etc/ntp.conf

注释或者删除以下4行

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

添加以下两行

server 127.127.1.0

fudge 127.127.1.0 stratum 10

  1. systemctl enable ntpd
  1. systemctl start ntpd
  1. slave1
  1. yum -y install ntpdate
  1. ntpdate master.hadoop
  1. systemctl enable ntpdate

5 配置SSH。

  1. master& slave1

检查 2个节点是否可以通过无密钥相互访问，如果未配置，则进行SSH无密码公钥认证配置。


  1. ssh master.hadoop
  1. exit
  1. ssh slave1.hadoop
  1. exit

ssh登录远程主机查看是否成功。

6 禁用 Transparent Huge Pages。

操作系统后台有一个khugepaged 的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4k page交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且这个过程对于应用是透明的，在应用层面不可控制，对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

  1. master& slave1
  1. cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never

  1. echo never > /sys/kernel/mm/transparent_hugepage/enabled
  1. echo never > /sys/kernel/mm/transparent_hugepage/defrag
  1. cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never]

重启后失效，需要再次执行。

7 安装配置 JDK。

  1. master
  1. mkdir /usr/jdk64/
  1. cd /usr/jdk64/
  1. wget http://10.10.0.101/bigdata2.2/jdk-8u77-linux-x64.tar.gz
  1. tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/
  1. vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

  1. source /etc/profile
  1. java -version

Java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

  1. slave1
  1. mkdir /usr/jdk64/
  1. cd /usr/jdk64/
  1. scp master.hadoop:/usr/jdk64/jdk-8u77-linux-x64.tar.gz .
  1. tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/
  1. vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

  1. source /etc/profile
  1. java -version

Java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

取自“http://www.openbrains.net/mediawiki/index.php?title=搭建ambari管理平台&oldid=8589”