查看Hadoop集群的基本信息

来自CloudWiki
跳转至: 导航搜索

实训目标

(1) 掌握查看存储系统的基本信息。

(2) 掌握查看 Hadoop 集群的计算资源。

实训环境

(1) 使用 CentOS 6.10 的 Linux 操作系统。

(2) 使用 1.8 的 JDK 。

(3) 使用 2.6.4 版本的 Hadoop 。

实训内容

(1) 查询集群的存储系统信息。

(2) 查询集群的计算资源信息。

实训步骤

前置步骤

启动hadoop集群:

在Linux 终端执行命令“ $HADOOP_HOME/sbin/start-all.sh ”,或者 双击桌面上名称为“hadoop ”的图标,启动hadoop 集群。

修改windows域名映射:

在C:\Windows\System32\drivers\etc\hosts文件中增添如下字段:

192.168.128.130     master
192.168.128.131     slave1
192.168.128.132     slave2
192.168.128.133     slave3

如果不能保存,右键单击该文件,属性->安全->编辑(点击自己的当前用户后)->把写入权限勾起来。这样就可以了。

查询系统的存储系统信息

(1) 启动 Hadoop 集群,在服务器集群上可以看到相关的监控服务也已经启动。

(2) 打开桌面的浏览器,在地址栏输入“ http://master:50070/ ”。

(3) 图 4 ‑1 展示了当前 HDFS 文件系统的基本统计信息,每个集群配置的资源不同,显示的结果也不同。

Bd20-7-1.png

图 4 ‑ 1 HDFS 文件系统的基本信息

继续单击页面上的标签页“ DataNodes ”,可以显示各数据节点的信息,如 图 4‑2 所示。

Bd20-7-2.png

图 4 ‑ 2 各数据节点的存储信息

Hadoop 也提供了一种通过命令行来查询 HDFS 信息的方式。在集群服务器的终端,输入相关的查询命令“ hdfs dfsadmin -report ”就可以获得。

例如,要查看在线节点的基本信息。在集群服务器节点(如 master )的终端,输入命令“ hdfs dfsadmin -report -live ”,如 代码 4-1 所示。

代码 4 - 1 显示 HDFS 在线数据节点的信息命令

[root@base-master-0 ~]# hdfs dfsadmin -report live

 20/03/03 17:38:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Configured Capacity: 168757821440 (157.17 GB)

Present Capacity: 92163407872 (85.83 GB)

DFS Remaining: 91935227904 (85.62 GB)

DFS Used: 228179968 (217.61 MB)

DFS Used%: 0.25%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

 

-------------------------------------------------

Live datanodes (2):

 

Name: 10.240.7.54:50010 (slave2)

Hostname: base-slave-1.base-slave.user-10049.svc.cluster.local

Decommission Status : Normal

Configured Capacity: 84378910720 (78.58 GB)

DFS Used: 135282688 (129.02 MB)

Non DFS Used: 12016922624 (11.19 GB)

DFS Remaining: 72226705408 (67.27 GB)

DFS Used%: 0.16%

DFS Remaining%: 85.60%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 1

Last contact: Tue Mar 03 17:38:56 CST 2020

 

 

Name: 10.240.8.50:50010 (slave1)

Hostname: base-slave-0.base-slave.user-10049.svc.cluster.local

Decommission Status : Normal

Configured Capacity: 84378910720 (78.58 GB)

DFS Used: 92897280 (88.59 MB)

Non DFS Used: 64577490944 (60.14 GB)

DFS Remaining: 19708522496 (18.35 GB)

DFS Used%: 0.11%

DFS Remaining%: 23.36%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 1

Last contact: Tue Mar 03 17:38:56 CST 2020

查询集群的计算资源信息

(1) 在本机Web 浏览器的地址栏输入“http://master:8088/cluster/nodes ”。图 4 ‑3 展示了当前集群的计算资源信息。

Bd20-7-3.png

图 4 ‑ 3 Hadoop 集群的计算资源信息


通过点击左边栏中的“ Nodes ”可查看节点信息,

继续单击页面上的超链接“ slave1:8042 ”(每次实验环境匹配的 slave 节点名称可能不同, slave 节点名称如为 base-slave-0.base-slave.user-10049.svc.cluster.local ,则超链接为 base-slave-0.base-slave.user-10049.svc.cluster.local : 8042 ),可以显示计算节点 slave1 的各项资源信息,如 图 4‑5 所示。

Bd20-7-4.png

图 4 ‑ 5 计算节点 slave1 的计算资源信息

根据以上显示的各项信息,就可以初步了解当前集群的计算资源情况,主要包括集群上的可用计算节点、可用的 CPU 核心与内存,以及各个节点自身的 CPU 及内存资源。