查看“搭建ambari管理平台”的源代码
←
搭建ambari管理平台
跳转至:
导航
,
搜索
因为以下原因,您没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
== 基本环境配置 == 本任务以两台节点为例来组建 Hadoop分布式集群,这里采用的系统版本为CentOS 7,具体要求见表2-1。 表2-1 集群主机规划 主机名 内存 硬盘 IP地址 角色 master 4 GB 25 GB 192.168.200.131 Ambari-Server、Ambari-Agent、MySQL slave1 4 GB 25 GB 192.168.200.133 Ambari-Agent CRT下载地址http://10.10.0.101/bigdata-development/SecureCRSecureFXP.zip === 配置主机名 === 根据表中的资源配置来组建大数据基础平台。首先需要配置主机名。 1 配置主机名。 <nowiki># master # hostnamectl set-hostname master # hostname</nowiki> master <nowiki># slave1 # hostnamectl set-hostname slave1 # hostname</nowiki> slave1 2 修改 hosts 映射文件 master vi /etc/hosts <nowiki>192.168.200.131 master.hadoop master 192.168.200.133 slave1.hadoop</nowiki> (注意:IP地址要跟自己的实际IP地址保持一致) slave1 # vi /etc/hosts 192.168.200.131 master.hadoop 192.168.200.133 slave1.hadoop slave1 (注意:IP地址要跟自己的实际IP地址保持一致) === 配置Yum源 === #master 注意:因为安装大数据相关软件包时,可能会用到相关依赖软件包,所以需要配置CentOS 7 Yum 源,可以配置CentOS 7的本地Yum源文件,如果有网络的话也可以配置公网的Yum源。这里可以采用本地 CentOS 7 Yum 源。 #master& slave1 # cd /etc/yum.repos.d/ # rm -vf * 注意:如果配置公网Yum源,则不需要删除原来的repo文件。 编写REPO文件,指定Ambari安装包路径和CentOS 7安装包路径。 # vi ambari.repo [ambari] baseurl=http://10.10.0.101/bigdata2.2/ambari-2.2.2/ambari/ ##(注:具体的Yum 源根据真实环境配置,本次为实验室测试环境。) gpgcheck=0 enabled=1 name=ambari [centos7] name=centos7 baseurl=http://10.10.0.101/centos/7.2/ ##(注:具体的Yum 源根据真实环境配置,本次为实验室测试环境。) enabled=1 gpgcheck=0 配置完之后执行 yum repolist 验证 安装apache服务器: yum -y install httpd 4 配置ntp。 #master # yum -y install ntp # vi /etc/ntp.conf 注释或者删除以下4行 <nowiki>server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburst server 3.centos.pool.ntp.org iburst</nowiki> 添加以下两行 <nowiki>server 127.127.1.0 fudge 127.127.1.0 stratum 10</nowiki> 保存退出,然后在命令行执行命令: #systemctl enable ntpd #systemctl start ntpd # slave1 # yum -y install ntpdate # ntpdate master.hadoop # systemctl enable ntpdate === 配置SSH === # master& slave1 <nowiki>50 yum install openssh-clients 52 ssh-keygen 53 ssh-copy-id master.hadoop 54 ssh-copy-id slave1.hadoop </nowiki> 检查 2个节点是否可以通过无密钥相互访问,如果未配置,则进行SSH无密码公钥认证配置。 # ssh master.hadoop # exit # ssh slave1.hadoop # exit ssh登录远程主机查看是否成功。 6 禁用 Transparent Huge Pages。 操作系统后台有一个khugepaged 的进程,它会一直扫描所有进程占用的内存,在可能的情况下会把4k page交换为Huge Pages,在这个过程中,对于操作的内存的各种分配活动都需要各种内存锁,直接影响程序的内存访问性能,并且这个过程对于应用是透明的,在应用层面不可控制,对于专门为4k page优化的程序来说,可能会造成随机的性能下降现象。 #master& slave1 # cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never # echo never > /sys/kernel/mm/transparent_hugepage/enabled # echo never > /sys/kernel/mm/transparent_hugepage/defrag # cat /sys/kernel/mm/transparent_hugepage/enabled always madvise [never] 重启后失效,需要再次执行。 7 安装配置 JDK。 #master # mkdir /usr/jdk64/ # cd /usr/jdk64/ # wget http://10.10.0.101/bigdata2.2/jdk-8u77-linux-x64.tar.gz # tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/ # vi /etc/profile export JAVA_HOME=/usr/jdk64/jdk1.8.0_77 export PATH=$JAVA_HOME/bin:$PATH # source /etc/profile #java -version Java version "1.8.0_77" Java(TM) SE Runtime Environment (build 1.8.0_77-b03) Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode) # slave1 #mkdir /usr/jdk64/ # cd /usr/jdk64/ #scp master.hadoop:/usr/jdk64/jdk-8u77-linux-x64.tar.gz . # tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/ # vi /etc/profile export JAVA_HOME=/usr/jdk64/jdk1.8.0_77 export PATH=$JAVA_HOME/bin:$PATH # source /etc/profile #java -version Java version "1.8.0_77" Java(TM) SE Runtime Environment (build 1.8.0_77-b03) Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode) 返回 [[大数据分析]]
返回至
搭建ambari管理平台
。
导航菜单
个人工具
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息