“2.Hadoop集群部署”的版本间的差异
来自CloudWiki
(创建页面,内容为“'''Hadoop搭建''' hadoop-env.sh 配置JDK环境变量 export JAVA_HOME=/绝对路径 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin core-site.xml 核心…”) |
|||
第17行: | 第17行: | ||
<value>hdfs://master:9000</value> | <value>hdfs://master:9000</value> | ||
</property> | </property> | ||
− | |||
− | |||
<!-- HDFS工作目录的设置--> | <!-- HDFS工作目录的设置--> | ||
<!--其它一些目录是以这个临时目录为基本目录的,如dfs.name.dir和dfs.name.edits.dir等,如果文件清空,hadoop中的数据会全部丢失--> | <!--其它一些目录是以这个临时目录为基本目录的,如dfs.name.dir和dfs.name.edits.dir等,如果文件清空,hadoop中的数据会全部丢失--> | ||
第33行: | 第31行: | ||
<value>2</value> | <value>2</value> | ||
</property> | </property> | ||
− | |||
//配置 namenode元数据存放位置 | //配置 namenode元数据存放位置 | ||
<property> | <property> | ||
第39行: | 第36行: | ||
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> | <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> | ||
</property> | </property> | ||
− | |||
//配置datanode块数据存放位置 | //配置datanode块数据存放位置 | ||
<property> | <property> |
2020年11月28日 (六) 13:37的最新版本
Hadoop搭建
hadoop-env.sh
配置JDK环境变量 export JAVA_HOME=/绝对路径 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
core-site.xml 核心配置
//默认文件系统是什么 namenode通信 //定义什么端口在哪里启动namenode //定义namenode在哪里 //master表示主机名称 <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> </property>
hdfs-site.xml配置
//副本的数量是多少 <property> <name>dfs.replication</name> <value>2</value> </property> //配置 namenode元数据存放位置 <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> </property> //配置datanode块数据存放位置 <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> </property>
mapred-site.xml配置
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
yarn-site.xml配置
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property>
初始化:hdfs namenode -format
创建目录
并初始化一个空的fsimage VERSION CID