“Hadoop 动态添加/删除节点”的版本间的差异
来自CloudWiki
(创建页面,内容为“ == 动态增加 == 首先配置要增加的节点 本地源、防火墙、时区、时间同步、、、 == 删除节点 ==”) |
(→动态增加) |
||
第2行: | 第2行: | ||
== 动态增加 == | == 动态增加 == | ||
首先配置要增加的节点 | 首先配置要增加的节点 | ||
− | + | 本地源、防火墙、时区、时间同步、主机名 | |
+ | 修改hosts文件,将文件添加到slave3 | ||
+ | 免密操作 master->slave3 | ||
+ | 安装JDK Hadoop配置环境变量 | ||
+ | Hadoop设置: | ||
+ | 修改所有slaves文件:添加slave3 | ||
+ | 启动DataNode:hadoop-daemon.sh start datanode | ||
+ | 启动nodemanage: yarn-daemon.sh start nodemanager | ||
+ | 刷新集群状态: | ||
+ | 主节点刷新:hdfs dfsadmin -refreshNodes | ||
+ | 均衡block:sbin/start-balancer.sh | ||
+ | 查看存货节点:hdfs dfsadmin -refreshNodes | ||
+ | 临时删除 | ||
+ | hadoop-daemon.sh stop datanode | ||
+ | hadoop-daemon.sh stop tasktracker | ||
+ | |||
+ | 永久删除 | ||
+ | hdfs-site.xml | ||
+ | <property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property> | ||
+ | 创建节点文件excludes | ||
+ | echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes | ||
+ | 强制重新加载配置 | ||
+ | 刷新所有:hdfs dfsadmin -refreshNodes | ||
+ | 查看存活节点:hdfs dfsadmin -report | ||
== 删除节点 == | == 删除节点 == |
2020年11月17日 (二) 08:39的版本
动态增加
首先配置要增加的节点
本地源、防火墙、时区、时间同步、主机名 修改hosts文件,将文件添加到slave3 免密操作 master->slave3 安装JDK Hadoop配置环境变量 Hadoop设置: 修改所有slaves文件:添加slave3 启动DataNode:hadoop-daemon.sh start datanode 启动nodemanage: yarn-daemon.sh start nodemanager 刷新集群状态: 主节点刷新:hdfs dfsadmin -refreshNodes 均衡block:sbin/start-balancer.sh 查看存货节点:hdfs dfsadmin -refreshNodes
临时删除
hadoop-daemon.sh stop datanode hadoop-daemon.sh stop tasktracker
永久删除
hdfs-site.xml <property><name>dfs.hosts.exclude</name><value>/usr/hadoop/hadoop-27.3/etc/hadoop/excludes</value></property> 创建节点文件excludes echo slave2 >> /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes 强制重新加载配置 刷新所有:hdfs dfsadmin -refreshNodes 查看存活节点:hdfs dfsadmin -report