“2020红亚杯：2.Hadoop集群部署”的版本间的差异

2020年11月28日 (六) 13:50的版本

Hadoop搭建 比赛环境是已经给搭建好了，直接进行排错，检查全部配置文件 hadoop-env.sh

配置JDK环境变量
export JAVA_HOME=/绝对路径 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

core-site.xml 核心配置

//默认文件系统是什么 namenode通信
//定义什么端口在哪里启动namenode
//定义namenode在哪里
//master表示主机名称
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>

hdfs-site.xml配置

//副本的数量是多少
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
//配置 namenode元数据存放位置
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
</property>
//配置datanode块数据存放位置
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
</property>

mapred-site.xml配置

   <property>  
           <name>mapreduce.framework.name</name>  
           <value>yarn</value>  
   </property>

yarn-site.xml配置

   <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
           <name>yarn.resourcemanager.hostname</name>
           <value>localhost</value>
   </property>

master配置

master

slave配置

slave1
slave2

初始化：hdfs namenode -format

创建目录

  并初始化一个空的fsimage
  VERSION
       CID