“安装hadoop”的版本间的差异
来自CloudWiki
(→修改hdfs-site.xml配置文件) |
|||
(未显示5个用户的6个中间版本) | |||
第1行: | 第1行: | ||
. | . | ||
+ | |||
+ | == hdfs体系架构 == | ||
+ | |||
+ | [[文件:Hdfs体系架构.png]] | ||
+ | |||
== 安装hadoop,配置环境变量 == | == 安装hadoop,配置环境变量 == | ||
第29行: | 第34行: | ||
== 修改core-site.xml配置文件 == | == 修改core-site.xml配置文件 == | ||
− | <nowiki><configuration> | + | <nowiki><configuration> |
<property> | <property> | ||
<name>fs.defaultFS</name> | <name>fs.defaultFS</name> | ||
第91行: | 第96行: | ||
== 修改hdfs-site.xml配置文件 == | == 修改hdfs-site.xml配置文件 == | ||
− | <nowiki><configuration> | + | <nowiki><?xml version="1.0" encoding="UTF-8"?> |
+ | <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> | ||
+ | <configuration> | ||
<property> | <property> | ||
<name>dfs.replication</name> | <name>dfs.replication</name> | ||
第111行: | 第118行: | ||
</property> | </property> | ||
<property> | <property> | ||
− | <name>dfs.webhdfs.enabled</name> | + | <name>dfs.webhdfs.enabled</name> |
<value>true</value> | <value>true</value> | ||
</property> | </property> | ||
第122行: | 第129行: | ||
== 修改mapred-site.xml配置文件 == | == 修改mapred-site.xml配置文件 == | ||
− | <configuration> | + | <nowiki><configuration> |
<property> | <property> | ||
<name>mapreduce.framework.name</name> | <name>mapreduce.framework.name</name> | ||
<value>yarn</value> | <value>yarn</value> | ||
</property> | </property> | ||
− | </configuration> | + | </configuration></nowiki> |
[[文件:Mapred-site.png]] | [[文件:Mapred-site.png]] | ||
第141行: | 第148行: | ||
== 分发 hadoop == | == 分发 hadoop == | ||
− | scp -r /usr/hadoop root@slave1:/usr/ | + | <nowiki>scp -r /usr/hadoop root@slave1:/usr/ |
− | scp -r /usr/hadoop root@slave2:/usr/ | + | scp -r /usr/hadoop root@slave2:/usr/</nowiki> |
== 启动 hadoop 集群 == | == 启动 hadoop 集群 == | ||
第155行: | 第162行: | ||
== 查看 hdfs == | == 查看 hdfs == | ||
+ | |||
+ | 查看分布式文件系统根目录下的内容 | ||
+ | |||
+ | <nowiki> | ||
+ | hadoop fs -ls /</nowiki> |
2018年11月20日 (二) 04:28的最新版本
.
目录
hdfs体系架构
安装hadoop,配置环境变量
创建对应工作目录/usr/hadoop:
解压 hadoop 到相应目录:
vim /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
编辑 hadoop 环境配置文件 hadoop-env.sh
vim hadoop-env.sh
修改core-site.xml配置文件
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>13172</value> </property> <property> <name>dfs.namenode.checkpoint.period</name> <value>60</value> </property> <property> <name>fs.checkpoint.size</name> <value>67108864</value> </property> </configuration>
修改yarn-site.xml配置文件
<configuration>
<property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
</configuration>
修改hdfs-site.xml配置文件
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
修改mapred-site.xml配置文件
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
编写 slavs 文件
编写 master 文件
分发 hadoop
scp -r /usr/hadoop root@slave1:/usr/ scp -r /usr/hadoop root@slave2:/usr/
启动 hadoop 集群
strat-dfs.sh
浏览中访问
查看 hdfs
查看分布式文件系统根目录下的内容
hadoop fs -ls /