搭建ambari管理平台

来自CloudWiki
跳转至： 导航， 搜索

基本环境配置

本任务以两台节点为例来组建 Hadoop分布式集群，这里采用的系统版本为CentOS 7，具体要求见表2-1。

表2-1 集群主机规划

主机名 内存 硬盘 IP地址 角色

master 4 GB 25 GB 192.168.200.131 Ambari-Server、Ambari-Agent、MySQL

slave1 4 GB 25 GB 192.168.200.133 Ambari-Agent

CRT下载地址http://10.10.0.101/bigdata-development/SecureCRSecureFXP.zip


配置主机名

根据表中的资源配置来组建大数据基础平台。首先需要配置主机名。

1 配置主机名。 


# master

# hostnamectl set-hostname master

# hostname

master 


# slave1

# hostnamectl set-hostname slave1

# hostname

slave1

2 修改 hosts 映射文件


master

vi /etc/hosts 

192.168.200.131 master.hadoop master

192.168.200.133 slave1.hadoop

（注意：IP地址要跟自己的实际IP地址保持一致）

slave1

  1. vi /etc/hosts

192.168.200.131 master.hadoop

192.168.200.133 slave1.hadoop slave1

（注意：IP地址要跟自己的实际IP地址保持一致）

配置Yum源

  1. master

注意：因为安装大数据相关软件包时，可能会用到相关依赖软件包，所以需要配置CentOS 7 Yum 源，可以配置CentOS 7的本地Yum源文件，如果有网络的话也可以配置公网的Yum源。这里可以采用本地 CentOS 7 Yum 源。

  1. master& slave1
  1. cd /etc/yum.repos.d/
  1. rm -vf *


注意：如果配置公网Yum源，则不需要删除原来的repo文件。

编写REPO文件，指定Ambari安装包路径和CentOS 7安装包路径。

  1. vi ambari.repo
[ambari]

baseurl=http://10.10.0.101/bigdata2.2/ambari-2.2.2/ambari/

    1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

gpgcheck=0

enabled=1

name=ambari

[centos7]

name=centos7

baseurl=http://10.10.0.101/centos/7.2/

    1. （注：具体的Yum 源根据真实环境配置，本次为实验室测试环境。）

enabled=1

gpgcheck=0


配置完之后执行 yum repolist 验证

安装apache服务器： yum -y install httpd

4 配置ntp。

  1. master
  1. yum -y install ntp
  1. vi /etc/ntp.conf

注释或者删除以下4行 

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

添加以下两行 

server 127.127.1.0

fudge 127.127.1.0 stratum 10

保存退出，然后在命令行执行命令： 

#systemctl enable ntpd

#systemctl start ntpd


  1. slave1
  1. yum -y install ntpdate
  1. ntpdate master.hadoop
  1. systemctl enable ntpdate


配置SSH

  1. master& slave1
 50  yum install openssh-clients
   52  ssh-keygen
   53  ssh-copy-id master.hadoop
  54  ssh-copy-id slave1.hadoop

检查 2个节点是否可以通过无密钥相互访问，如果未配置，则进行SSH无密码公钥认证配置。


  1. ssh master.hadoop
  1. exit
  1. ssh slave1.hadoop
  1. exit

ssh登录远程主机查看是否成功。

6 禁用 Transparent Huge Pages。

操作系统后台有一个khugepaged 的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把4k page交换为Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且这个过程对于应用是透明的，在应用层面不可控制，对于专门为4k page优化的程序来说，可能会造成随机的性能下降现象。

  1. master& slave1
  1. cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never

  1. echo never > /sys/kernel/mm/transparent_hugepage/enabled
  1. echo never > /sys/kernel/mm/transparent_hugepage/defrag
  1. cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never]

重启后失效，需要再次执行。

7 安装配置 JDK。

  1. master
  1. mkdir /usr/jdk64/
  1. cd /usr/jdk64/
  1. wget http://10.10.0.101/bigdata2.2/jdk-8u77-linux-x64.tar.gz
  1. tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/
  1. vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

  1. source /etc/profile
  1. java -version

Java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

  1. slave1
  1. mkdir /usr/jdk64/
  1. cd /usr/jdk64/
  1. scp master.hadoop:/usr/jdk64/jdk-8u77-linux-x64.tar.gz .
  1. tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/
  1. vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

  1. source /etc/profile
  1. java -version

Java version "1.8.0_77"

Java(TM) SE Runtime Environment (build 1.8.0_77-b03)

Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

返回 大数据分析

取自“http://www.openbrains.net/mediawiki/index.php?title=搭建ambari管理平台&oldid=8607”