“节点增加删除”的版本间的差异
来自CloudWiki
（创建页面，内容为“1. 增加删除节点 增加节点： 2. 基础操作、本地源、防火墙、时区、时间同步 3. 修改hosts文件 所有文件添加到slave3 4. 免密操…”） |
|||
| 第1行： | 第1行： | ||
| − | 1. 增加删除节点 | + | 1.增加删除节点<br> |
| − | 增加节点： | + | 增加节点：<br> |
| − | 2. 基础操作、本地源、防火墙、时区、时间同步 | + | 2.基础操作、本地源、防火墙、时区、时间同步<br> |
| − | 3. 修改hosts文件 所有文件添加到slave3 | + | 3.修改hosts文件 所有文件添加到slave3<br> |
| − | 4. 免密操作 masterslave3 | + | 4.免密操作 masterslave3<br> |
| − | 5. 安装JDK HADOOP配置环境变量 | + | 5.安装JDK HADOOP配置环境变量<br> |
| − | Hadoop设置 | + | Hadoop设置<br> |
| − | 修改所有slaves文件：添加slave3 | + | 修改所有slaves文件：添加slave3<br> |
| − | 启动DataNode：hadoop-daemon.sh start datanode | + | 启动DataNode：hadoop-daemon.sh start datanode<br> |
| − | 启动nodemanage：yarn-daemon.sh start nodemanager | + | 启动nodemanage：yarn-daemon.sh start nodemanager<br> |
| − | 刷新集群状态 | + | 刷新集群状态<br> |
| − | 主节点刷新：hdfs dfsadmin -refreshNodes | + | 主节点刷新：hdfs dfsadmin -refreshNodes<br> |
| − | 均衡block: start-balancer.sh | + | 均衡block: start-balancer.sh<br> |
| − | 查看存活节点：hdfs dfsadmin -report | + | 查看存活节点：hdfs dfsadmin -report<br> |
| − | 临时删除 | + | 临时删除<br> |
| − | hadoop-daemon.sh stop datanode | + | hadoop-daemon.sh stop datanode<br> |
| − | hadoop-daemon.sh stop tasktracker | + | hadoop-daemon.sh stop tasktracker<br> |
| − | 二、动态删除DataNode | + | 二、动态删除DataNode<br> |
| − | 1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置 | + | 1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置<br> |
| − | + | <property> | |
| − | |||
| − | |||
| − | |||
<name>dfs.hosts.exclude</name> | <name>dfs.hosts.exclude</name> | ||
<value>/usr/local/hadoop2/etc/hadoop/excludes</value> | <value>/usr/local/hadoop2/etc/hadoop/excludes</value> | ||
</property> | </property> | ||
| − | 2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes | + | 2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes<br> |
| − | 3、在NameNode上刷新所有DataNode | + | 3、在NameNode上刷新所有DataNode<br> |
| − | + | hdfs dfsadmin -refreshNodes | |
| − | + | hdfs dfsadmin -report | |
| − | + | start-balancer.sh | |
| − | hdfs dfsadmin -report | + | 关闭节点上进程(slave2)<br> |
| − | start-balancer.sh | + | hadoop-daemon.sh stop datanode |
| − | 关闭节点上进程(slave2) | + | yarn-daemon.sh stop nodemanager |
| − | hadoop-daemon.sh stop datanode | ||
| − | yarn-daemon.sh stop nodemanager | ||
数据均衡：start-balancer.sh | 数据均衡：start-balancer.sh | ||
2020年11月23日 (一) 10:23的最新版本
1.增加删除节点
增加节点：
2.基础操作、本地源、防火墙、时区、时间同步
3.修改hosts文件 所有文件添加到slave3
4.免密操作 masterslave3
5.安装JDK HADOOP配置环境变量
Hadoop设置
修改所有slaves文件：添加slave3
启动DataNode：hadoop-daemon.sh start datanode
启动nodemanage：yarn-daemon.sh start nodemanager
刷新集群状态
主节点刷新：hdfs dfsadmin -refreshNodes
均衡block: start-balancer.sh
查看存活节点：hdfs dfsadmin -report
临时删除
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker
二、动态删除DataNode
1、配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置
<property>
<name>dfs.hosts.exclude</name> <value>/usr/local/hadoop2/etc/hadoop/excludes</value> </property>
2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes
3、在NameNode上刷新所有DataNode
hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report start-balancer.sh
关闭节点上进程(slave2)
hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager
数据均衡：start-balancer.sh
