2020红亚杯：2.Hadoop集群部署

Hadoop搭建
以下操作为master为了节省时间master配置完hadoop直接用scp将hadoop配置文件上传给slave1和slave2包括环境变量

比赛环境是已经给搭建好了，直接进行排错，检查全部配置文件会有一些<property>重复等直接删除就可以

hadoop-env.sh

配置JDK环境变量

export JAVA_HOME=/绝对路径 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

core-site.xml 核心配置

//默认文件系统是什么 namenode通信
//定义什么端口在哪里启动namenode
//定义namenode在哪里
//master表示主机名称
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>

hdfs-site.xml配置

//副本的数量是多少
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
//配置 namenode元数据存放位置
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
</property>
//配置datanode块数据存放位置
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
</property>

mapred-site.xml配置

   <property>  
           <name>mapreduce.framework.name</name>  
           <value>yarn</value>  
   </property>

yarn-site.xml配置

   <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
           <name>yarn.resourcemanager.hostname</name>
           <value>localhost</value>
   </property>

cd $HADOOP_HOME/etc/hadoop 配置文件目录

打开master配置文件(指定哪台为master)

master

打开slaves配置文件(指定哪台为slave)

slave1
slave2

初始化：hdfs namenode -format

创建目录

  并初始化一个空的fsimage
  VERSION
       CID