HDFS基本操作

HDFS常用操作

本文档基于hadoop2.0操作。

-help [cmd]	//显示命令的帮助信息
-ls(r) <path>	//显示当前目录下所有文件
-du(s) <path>	//显示目录中所有文件大小
-count[-q] <path>	//显示目录中文件数量
-mv <src> <dst>	//移动多个文件到目标目录
-cp <src> <dst>	//复制多个文件到目标目录
-rm(r)		//删除文件(夹)
-put <localsrc> <dst>	//本地文件复制到hdfs
-copyFromLocal	//同put
-moveFromLocal	//从本地文件移动到hdfs
-get [-ignoreCrc] <src> <localdst>	//复制文件到本地，可以忽略crc校验
-getmerge <src> <localdst>		//将源目录中的所有文件排序合并到一个文件中
-cat <src>	//在终端显示文件内容
-text <src>	//在终端显示文件内容
-copyToLocal [-ignoreCrc] <src> <localdst>	//复制到本地
-moveToLocal <src> <localdst>
-mkdir <path>	//创建文件夹
-touchz <path>	//创建一个空文件

上传文件

[root@bd ~]# hadoop fs -put install.log /

19/07/16 00:19:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

下载文件

[root@bd ~]# hadoop fs -get /install.log

19/07/16 00:20:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
get: `install.log': File exists

创建目录

[root@bd ~]# hadoop fs -mkdir /test

19/07/16 00:13:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[root@bd ~]# hadoop fs -mkdir -p /1/2

19/07/16 00:14:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

图形界面查看

浏览器打开bd:50070， 在Utilities中找Browse the file system 即可查到刚才上传的文件

列出所有文件

[root@bd ~]# hadoop fs -ls /

19/07/16 00:33:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 5 items
drwxr-xr-x   - root supergroup          0 2019-07-16 00:14 /1
-rw-r--r--   1 root supergroup       1249 2019-07-16 00:04 /hdfs-site.xml
-rw-r--r--   1 root supergroup      45537 2019-07-16 00:19 /install.log
drwxr-xr-x   - root supergroup          0 2019-07-16 00:13 /test
drwxrwx---   - root supergroup          0 2019-07-15 22:28 /tmp

删除文件

[root@bd ~]# hadoop fs -rm /hdfs-site.xml

19/07/16 00:34:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/07/16 00:34:38 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /hdfs-site.xml