查看Hadoop集群的基本信息
实训目标
(1) 掌握查看存储系统的基本信息。
(2) 掌握查看 Hadoop 集群的计算资源。
实训环境
(1) 使用 CentOS 6.10 的 Linux 操作系统。
(2) 使用 1.8 的 JDK 。
(3) 使用 2.6.4 版本的 Hadoop 。
实训内容
(1) 查询集群的存储系统信息。
(2) 查询集群的计算资源信息。
实训步骤
前置步骤
启动hadoop集群:
在Linux 终端执行命令“ $HADOOP_HOME/sbin/start-all.sh ”,或者 双击桌面上名称为“hadoop ”的图标,启动hadoop 集群。
修改windows域名映射:
在C:\Windows\System32\drivers\etc\hosts文件中增添如下字段:
192.168.128.130 master 192.168.128.131 slave1 192.168.128.132 slave2 192.168.128.133 slave3
如果不能保存,右键单击该文件,属性->安全->编辑(点击自己的当前用户后)->把写入权限勾起来。这样就可以了。
查询系统的存储系统信息
(1) 启动 Hadoop 集群,在服务器集群上可以看到相关的监控服务也已经启动。
(2) 打开桌面的浏览器,在地址栏输入“ http://master:50070/ ”。
(3) 图 4 ‑1 展示了当前 HDFS 文件系统的基本统计信息,每个集群配置的资源不同,显示的结果也不同。
图 4 ‑ 1 HDFS 文件系统的基本信息
继续单击页面上的标签页“ DataNodes ”,可以显示各数据节点的信息,如 图 4‑2 所示。
图 4 ‑ 2 各数据节点的存储信息
Hadoop 也提供了一种通过命令行来查询 HDFS 信息的方式。在集群服务器的终端,输入相关的查询命令“ hdfs dfsadmin -report ”就可以获得。
例如,要查看在线节点的基本信息。在集群服务器节点(如 master )的终端,输入命令“ hdfs dfsadmin -report -live ”,如 代码 4-1 所示。
代码 4 - 1 显示 HDFS 在线数据节点的信息命令
[root@base-master-0 ~]# hdfs dfsadmin -report live
20/03/03 17:38:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Configured Capacity: 168757821440 (157.17 GB) Present Capacity: 92163407872 (85.83 GB) DFS Remaining: 91935227904 (85.62 GB) DFS Used: 228179968 (217.61 MB) DFS Used%: 0.25% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Live datanodes (2): Name: 10.240.7.54:50010 (slave2) Hostname: base-slave-1.base-slave.user-10049.svc.cluster.local Decommission Status : Normal Configured Capacity: 84378910720 (78.58 GB) DFS Used: 135282688 (129.02 MB) Non DFS Used: 12016922624 (11.19 GB) DFS Remaining: 72226705408 (67.27 GB) DFS Used%: 0.16% DFS Remaining%: 85.60% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Tue Mar 03 17:38:56 CST 2020 Name: 10.240.8.50:50010 (slave1) Hostname: base-slave-0.base-slave.user-10049.svc.cluster.local Decommission Status : Normal Configured Capacity: 84378910720 (78.58 GB) DFS Used: 92897280 (88.59 MB) Non DFS Used: 64577490944 (60.14 GB) DFS Remaining: 19708522496 (18.35 GB) DFS Used%: 0.11% DFS Remaining%: 23.36% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Tue Mar 03 17:38:56 CST 2020
查询集群的计算资源信息
(1) 在本机Web 浏览器的地址栏输入“http://master:8088/cluster/nodes ”。图 4 ‑3 展示了当前集群的计算资源信息。
图 4 ‑ 3 Hadoop 集群的计算资源信息
通过点击左边栏中的“ Nodes ”可查看节点信息,
继续单击页面上的超链接“ slave1:8042 ”(每次实验环境匹配的 slave 节点名称可能不同, slave 节点名称如为 base-slave-0.base-slave.user-10049.svc.cluster.local ,则超链接为 base-slave-0.base-slave.user-10049.svc.cluster.local : 8042 ),可以显示计算节点 slave1 的各项资源信息,如 图 4‑5 所示。
图 4 ‑ 5 计算节点 slave1 的计算资源信息
根据以上显示的各项信息,就可以初步了解当前集群的计算资源情况,主要包括集群上的可用计算节点、可用的 CPU 核心与内存,以及各个节点自身的 CPU 及内存资源。