“2020红亚杯:2.Hadoop集群部署”的版本间的差异
来自CloudWiki
(创建页面,内容为“'''Hadoop搭建''' hadoop-env.sh 配置JDK环境变量 export JAVA_HOME=/绝对路径 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin core-site.xml 核心…”) |
|||
第1行: | 第1行: | ||
'''Hadoop搭建''' | '''Hadoop搭建''' | ||
− | + | 比赛环境是已经给搭建好了,直接进行排错,检查全部配置文件 | |
hadoop-env.sh | hadoop-env.sh | ||
配置JDK环境变量 | 配置JDK环境变量 | ||
第64行: | 第64行: | ||
+ | master配置 | ||
+ | master | ||
+ | slave配置 | ||
+ | slave1 | ||
+ | slave2 | ||
2020年11月28日 (六) 13:50的版本
Hadoop搭建 比赛环境是已经给搭建好了,直接进行排错,检查全部配置文件 hadoop-env.sh
配置JDK环境变量 export JAVA_HOME=/绝对路径 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
core-site.xml 核心配置
//默认文件系统是什么 namenode通信 //定义什么端口在哪里启动namenode //定义namenode在哪里 //master表示主机名称 <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> </property>
hdfs-site.xml配置
//副本的数量是多少 <property> <name>dfs.replication</name> <value>2</value> </property> //配置 namenode元数据存放位置 <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> </property> //配置datanode块数据存放位置 <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> </property>
mapred-site.xml配置
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
yarn-site.xml配置
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property>
master配置
master
slave配置
slave1 slave2
初始化:hdfs namenode -format
创建目录
并初始化一个空的fsimage VERSION CID