节点增加删除
来自CloudWiki
1.增加删除节点
增加节点:
2.基础操作、本地源、防火墙、时区、时间同步
3.修改hosts文件 所有文件添加到slave3
4.免密操作 masterslave3
5.安装JDK HADOOP配置环境变量
Hadoop设置
修改所有slaves文件:添加slave3
启动DataNode:hadoop-daemon.sh start datanode
启动nodemanage:yarn-daemon.sh start nodemanager
刷新集群状态
主节点刷新:hdfs dfsadmin -refreshNodes
均衡block: start-balancer.sh
查看存活节点:hdfs dfsadmin -report
临时删除
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker
二、动态删除DataNode
1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置
<property>
<name>dfs.hosts.exclude</name> <value>/usr/local/hadoop2/etc/hadoop/excludes</value> </property>
2、在对应路径(/etc/hadoop/)下新建excludes文件,并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes
3、在NameNode上刷新所有DataNode
hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report start-balancer.sh
关闭节点上进程(slave2)
hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager
数据均衡:start-balancer.sh