“2020红亚杯:Hadoop增删节点”的版本间的差异
(创建页面,内容为“1.增加删除节点<br> 增加节点slave3:<br> 2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间<br> 3.修改hosts文…”) |
|||
(未显示同一用户的5个中间版本) | |||
第1行: | 第1行: | ||
− | + | '''增加删除节点'''<br> | |
− | + | 增加节点slave3<br> | |
+ | '''以下操作均为slave3操作''' | ||
+ | |||
2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间<br> | 2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间<br> | ||
3.修改hosts文件 所有文件添加到slave3<br> | 3.修改hosts文件 所有文件添加到slave3<br> | ||
第6行: | 第8行: | ||
5.安装JDK HADOOP配置环境变量<br> | 5.安装JDK HADOOP配置环境变量<br> | ||
Hadoop设置<br> | Hadoop设置<br> | ||
− | 修改所有slaves文件:添加slave3<br> | + | 修改所有slaves文件:添加slave3 全部节点配置<br> |
− | + | slave3启动DataNode:hadoop-daemon.sh start datanode<br> | |
− | + | slave3启动nodemanage:yarn-daemon.sh start nodemanager<br> | |
刷新集群状态<br> | 刷新集群状态<br> | ||
主节点刷新:hdfs dfsadmin -refreshNodes<br> | 主节点刷新:hdfs dfsadmin -refreshNodes<br> | ||
第19行: | 第21行: | ||
二、动态删除DataNode<br> | 二、动态删除DataNode<br> | ||
+ | '''以下操作为master''' | ||
+ | |||
1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置<br> | 1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置<br> | ||
<property> | <property> | ||
第30行: | 第34行: | ||
start-balancer.sh | start-balancer.sh | ||
'''一定要等待slave2节点状态退役后才能关闭slave2的进程''' | '''一定要等待slave2节点状态退役后才能关闭slave2的进程''' | ||
+ | |||
关闭节点上进程(slave2)<br> | 关闭节点上进程(slave2)<br> | ||
hadoop-daemon.sh stop datanode | hadoop-daemon.sh stop datanode | ||
yarn-daemon.sh stop nodemanager | yarn-daemon.sh stop nodemanager | ||
'''比赛场景是关闭进程后等待节点状态死亡(该过程需要10分钟左右)''' | '''比赛场景是关闭进程后等待节点状态死亡(该过程需要10分钟左右)''' | ||
− | 数据均衡:start-balancer.sh | + | |
+ | 数据均衡:start-balancer.sh(master) |
2020年11月28日 (六) 14:21的最新版本
增加删除节点
增加节点slave3
以下操作均为slave3操作
2.基础操作、本地源、防火墙、时区、时间同步每十分钟同步一次时间
3.修改hosts文件 所有文件添加到slave3
4.免密操作 master---->slave3
5.安装JDK HADOOP配置环境变量
Hadoop设置
修改所有slaves文件:添加slave3 全部节点配置
slave3启动DataNode:hadoop-daemon.sh start datanode
slave3启动nodemanage:yarn-daemon.sh start nodemanager
刷新集群状态
主节点刷新:hdfs dfsadmin -refreshNodes
均衡block: start-balancer.sh
查看存活节点:hdfs dfsadmin -report
临时删除(比赛没考到不建议强制删除存在数据丢失风险)
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker
二、动态删除DataNode
以下操作为master
1、配置NameNode的hdfs-site.xml,增加dfs.hosts.exclude配置
<property>
<name>dfs.hosts.exclude</name> <value>/usr/local/hadoop2/etc/hadoop/excludes</value> </property>
2、在对应路径(/etc/hadoop/)下新建excludes文件,并写入待删除DataNode的ip或域名 如要删除slave2写入 echo “slave2” > excludes
3、在NameNode上刷新所有DataNode
hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report start-balancer.sh
一定要等待slave2节点状态退役后才能关闭slave2的进程
关闭节点上进程(slave2)
hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager
比赛场景是关闭进程后等待节点状态死亡(该过程需要10分钟左右)
数据均衡:start-balancer.sh(master)