节点增加删除

来自CloudWiki
Heartmzh讨论 | 贡献2020年11月23日 (一) 10:22的版本 (创建页面,内容为“1. 增加删除节点 增加节点: 2. 基础操作、本地源、防火墙、时区、时间同步 3. 修改hosts文件 所有文件添加到slave3 4. 免密操…”)
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

1. 增加删除节点 增加节点: 2. 基础操作、本地源、防火墙、时区、时间同步 3. 修改hosts文件 所有文件添加到slave3 4. 免密操作 masterslave3 5. 安装JDK HADOOP配置环境变量 Hadoop设置 修改所有slaves文件:添加slave3 启动DataNode:hadoop-daemon.sh start datanode 启动nodemanage:yarn-daemon.sh start nodemanager 刷新集群状态 主节点刷新:hdfs dfsadmin -refreshNodes 均衡block: start-balancer.sh 查看存活节点:hdfs dfsadmin -report

临时删除 hadoop-daemon.sh stop datanode hadoop-daemon.sh stop tasktracker

二、动态删除DataNode 1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置 1 2 3 4 <property>

 <name>dfs.hosts.exclude</name> 
 <value>/usr/local/hadoop2/etc/hadoop/excludes</value> 
</property>

2、在对应路径(/etc/hadoop/)下新建excludes文件,并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes 3、在NameNode上刷新所有DataNode 1 2 3 hdfs dfsadmin -refreshNodes hdfs dfsadmin -report start-balancer.sh 关闭节点上进程(slave2) hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager 数据均衡:start-balancer.sh