“Hadoop 动态添加/删除节点”的版本间的差异
来自CloudWiki
（创建页面，内容为“ == 动态增加 == 首先配置要增加的节点 本地源、防火墙、时区、时间同步、、、 == 删除节点 ==”） |
（→动态增加） |
||
| 第2行： | 第2行： | ||
== 动态增加 == | == 动态增加 == | ||
首先配置要增加的节点 | 首先配置要增加的节点 | ||
| − | + | 本地源、防火墙、时区、时间同步、主机名 | |
| + | 修改hosts文件，将文件添加到slave3 | ||
| + | 免密操作 master->slave3 | ||
| + | 安装JDK Hadoop配置环境变量 | ||
| + | Hadoop设置： | ||
| + | 修改所有slaves文件：添加slave3 | ||
| + | 启动DataNode：hadoop-daemon.sh start datanode | ||
| + | 启动nodemanage: yarn-daemon.sh start nodemanager | ||
| + | 刷新集群状态: | ||
| + | 主节点刷新：hdfs dfsadmin -refreshNodes | ||
| + | 均衡block：sbin/start-balancer.sh | ||
| + | 查看存货节点：hdfs dfsadmin -refreshNodes | ||
| + | 临时删除 | ||
| + | hadoop-daemon.sh stop datanode | ||
| + | hadoop-daemon.sh stop tasktracker | ||
| + | |||
| + | 永久删除 | ||
| + | hdfs-site.xml | ||
| + | <property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property> | ||
| + | 创建节点文件excludes | ||
| + | echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes | ||
| + | 强制重新加载配置 | ||
| + | 刷新所有：hdfs dfsadmin -refreshNodes | ||
| + | 查看存活节点：hdfs dfsadmin -report | ||
== 删除节点 == | == 删除节点 == | ||
2020年11月17日 (二) 08:39的版本
动态增加
首先配置要增加的节点
本地源、防火墙、时区、时间同步、主机名 修改hosts文件，将文件添加到slave3 免密操作 master->slave3 安装JDK Hadoop配置环境变量 Hadoop设置： 修改所有slaves文件：添加slave3 启动DataNode：hadoop-daemon.sh start datanode 启动nodemanage: yarn-daemon.sh start nodemanager 刷新集群状态: 主节点刷新：hdfs dfsadmin -refreshNodes 均衡block：sbin/start-balancer.sh 查看存货节点：hdfs dfsadmin -refreshNodes
临时删除
hadoop-daemon.sh stop datanode hadoop-daemon.sh stop tasktracker
永久删除
hdfs-site.xml <property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property> 创建节点文件excludes echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes 强制重新加载配置 刷新所有：hdfs dfsadmin -refreshNodes 查看存活节点：hdfs dfsadmin -report
