2020红亚杯：Hadoop增删节点

增加删除节点
增加节点slave3
以下操作均为slave3操作

2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间
3.修改hosts文件 所有文件添加到slave3
4.免密操作 master---->slave3
5.安装JDK HADOOP配置环境变量
Hadoop设置
修改所有slaves文件：添加slave3 全部节点配置
slave3启动DataNode：hadoop-daemon.sh start datanode
slave3启动nodemanage：yarn-daemon.sh start nodemanager
刷新集群状态
主节点刷新：hdfs dfsadmin -refreshNodes
均衡block: start-balancer.sh
查看存活节点：hdfs dfsadmin -report

临时删除(比赛没考到不建议强制删除存在数据丢失风险)
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker

二、动态删除DataNode
以下操作为master

1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置
<property>

 <name>dfs.hosts.exclude</name> 
 <value>/usr/local/hadoop2/etc/hadoop/excludes</value> 
</property>

2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes
3、在NameNode上刷新所有DataNode
hdfs dfsadmin -refreshNodes

  hdfs dfsadmin -report
 start-balancer.sh

一定要等待slave2节点状态退役后才能关闭slave2的进程

关闭节点上进程(slave2)

hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager

比赛场景是关闭进程后等待节点状态死亡(该过程需要10分钟左右)

数据均衡：start-balancer.sh(master)