节点增加删除
1. 增加删除节点 增加节点: 2. 基础操作、本地源、防火墙、时区、时间同步 3. 修改hosts文件 所有文件添加到slave3 4. 免密操作 masterslave3 5. 安装JDK HADOOP配置环境变量 Hadoop设置 修改所有slaves文件:添加slave3 启动DataNode:hadoop-daemon.sh start datanode 启动nodemanage:yarn-daemon.sh start nodemanager 刷新集群状态 主节点刷新:hdfs dfsadmin -refreshNodes 均衡block: start-balancer.sh 查看存活节点:hdfs dfsadmin -report
临时删除 hadoop-daemon.sh stop datanode hadoop-daemon.sh stop tasktracker
二、动态删除DataNode 1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置 1 2 3 4 <property>
<name>dfs.hosts.exclude</name> <value>/usr/local/hadoop2/etc/hadoop/excludes</value> </property>
2、在对应路径(/etc/hadoop/)下新建excludes文件,并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes 3、在NameNode上刷新所有DataNode 1 2 3 hdfs dfsadmin -refreshNodes hdfs dfsadmin -report start-balancer.sh 关闭节点上进程(slave2) hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager 数据均衡:start-balancer.sh