Hadoop 动态添加/删除节点
来自CloudWiki
动态增加
首先配置要增加的节点
本地源、防火墙、时区、时间同步、主机名 修改hosts文件,将文件添加到slave3 免密操作 master->slave3 安装JDK Hadoop配置环境变量 Hadoop设置: 修改所有slaves文件:添加slave3 启动DataNode:hadoop-daemon.sh start datanode 启动nodemanage: yarn-daemon.sh start nodemanager 刷新集群状态: 主节点刷新:hdfs dfsadmin -refreshNodes 均衡block:sbin/start-balancer.sh 查看存货节点:hdfs dfsadmin -refreshNodes
临时删除
hadoop-daemon.sh stop datanode hadoop-daemon.sh stop tasktracker
永久删除
hdfs-site.xml <property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property> 创建节点文件excludes echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes 强制重新加载配置 刷新所有:hdfs dfsadmin -refreshNodes 查看存活节点:hdfs dfsadmin -report