“Hadoop 动态添加/删除节点”的版本间的差异

来自CloudWiki
跳转至： 导航， 搜索
 
（未显示同一用户的1个中间版本）
第1行： 第1行：
 +
1.增加删除节点<br>
 +
增加节点：<br>
 +
2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间<br>
 +
3.修改hosts文件 所有文件添加到slave3<br>
 +
4.免密操作 masterslave3<br>
 +
5.安装JDK HADOOP配置环境变量<br>
 +
Hadoop设置<br>
 +
修改所有slaves文件：添加slave3<br>
 +
启动DataNode：hadoop-daemon.sh start datanode<br>
 +
启动nodemanage：yarn-daemon.sh start nodemanager<br>
 +
刷新集群状态<br>
 +
主节点刷新：hdfs dfsadmin -refreshNodes<br>
 +
均衡block: start-balancer.sh<br>
 +
查看存活节点：hdfs dfsadmin -report<br>
  
−
== 动态增加 ==
+
临时删除<br>
−
首先配置要增加的节点
+
hadoop-daemon.sh stop datanode<br>
−
本地源、防火墙、时区、时间同步、主机名
+
hadoop-daemon.sh stop tasktracker<br>
−
修改hosts文件，将文件添加到slave3
+
 
−
免密操作 master->slave3
+
二、动态删除DataNode<br>
−
安装JDK Hadoop配置环境变量
+
1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置<br>
−
Hadoop设置：
+
<property>
−
修改所有slaves文件：添加slave3
+
  <name>dfs.hosts.exclude</name>
−
启动DataNode：hadoop-daemon.sh start datanode
+
  <value>/usr/local/hadoop2/etc/hadoop/excludes</value>
−
启动nodemanage: yarn-daemon.sh start nodemanager
+
  </property>
−
  刷新集群状态:
+
2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes<br>
−
主节点刷新：hdfs dfsadmin -refreshNodes
+
3、在NameNode上刷新所有DataNode<br>
−
均衡block：sbin/start-balancer.sh
+
hdfs dfsadmin -refreshNodes  
−
查看存货节点：hdfs dfsadmin -refreshNodes
+
  hdfs dfsadmin -report
−
临时删除
+
  start-balancer.sh
 +
关闭节点上进程(slave2)<br>
 
  hadoop-daemon.sh stop datanode
 
  hadoop-daemon.sh stop datanode
−
  hadoop-daemon.sh stop tasktracker
+
  yarn-daemon.sh stop nodemanager
−
 
+
数据均衡：start-balancer.sh
−
永久删除
 
−
hdfs-site.xml
 
−
<property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property>
 
−
创建节点文件excludes
 
−
echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes
 
−
强制重新加载配置
 
−
刷新所有：hdfs dfsadmin -refreshNodes
 
−
查看存活节点：hdfs dfsadmin -report
 
−
 
 
−
== 删除节点 ==
 

2020年11月28日 (六) 13:24的最新版本

1.增加删除节点
增加节点：
2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间
3.修改hosts文件 所有文件添加到slave3
4.免密操作 masterslave3
5.安装JDK HADOOP配置环境变量
Hadoop设置
修改所有slaves文件：添加slave3
启动DataNode：hadoop-daemon.sh start datanode
启动nodemanage：yarn-daemon.sh start nodemanager
刷新集群状态
主节点刷新：hdfs dfsadmin -refreshNodes
均衡block: start-balancer.sh
查看存活节点：hdfs dfsadmin -report

临时删除
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker

二、动态删除DataNode
1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置
<property> 

 <name>dfs.hosts.exclude</name> 
 <value>/usr/local/hadoop2/etc/hadoop/excludes</value> 
</property>

2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes
3、在NameNode上刷新所有DataNode
hdfs dfsadmin -refreshNodes 

  hdfs dfsadmin -report
 start-balancer.sh

关闭节点上进程(slave2)

hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager

数据均衡：start-balancer.sh

取自“http://www.openbrains.net/mediawiki/index.php?title=Hadoop_动态添加/删除节点&oldid=24198”