HDFS用法

HDFS体系结构:
HDFS用法

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名与空间、虚拟主机、营销软件、网站建设、长岭网站维护、网站推广。

实战:
HDFS是文件系统,那么它就支持对文件系统的基本操作,比如文件的增删改查、权限的修改,文件夹的创建,删除,重命名等操作;对HDFS的操作命令类似与linux的shell对文件的操作 如:ls、mkdir、rm、chown等
当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法, 在介绍之前先定义一下参数的意义:

  1. 斜体:表示用户输入的变量
  2. path:表示文件名或目录名
  3. path…:表示一个或多个文件名或目录名
  4.  file:表示任意文件名
  5. rc和dest:表示HDFS的源路径和目标路径
  6. localSrc和localDest:表示本地文件系统的源路径和目标路径
    7.在[]中的参数是可选的
    •执行hadoop fs 命令,如图所示:

HDFS用法
•hadoop fs –ls path
列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间
HDFS用法
•hadoop fs -lsr path
与ls相似,但递归地显示子目录下的内容
HDFS用法

•hadoop fs –du path
显示path下所有文件磁盘使用情况下,用字节大小表示,文件名用完整的HDFS协议前缀表示
•hadoop fs –dus path 2.0 :hadoop fs –du -s path
与-du相似,但它还显示全部文件或目录磁盘使用情况
HDFS用法

•hadoop fs -mkdir path
在HDFS中创建一个名为path的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p
•hadoop fs –rm path
删除一个文件或空目录
•hadoop fs –rmr path 2.x: hadoop fs –rm -r path
删除一个文件或递归删除目录
HDFS用法

•hadoop fs –put localSrc dest
将本地文件或目录localSrc上传到HDFS中的dest路径
•hadoop fs –copyFromLocal localSrc dest
与-put命令相同
•hadoop fs –moveFromLocal localSrc dest
将文件或目录从localSrc上传到HDFS中的dest目录,再删除本地文件或目录localSrc
•hadoop fs –get [-crc] src localDest
将文件或目录从HDFS中的src拷贝到本地文件系统localDest
•hadoop fs –getmerge src localDest [addnl]
将在HDFS中满足路径src的文件合并到本地文件系统的一个文件localDest中
•hadoop fs –cat filename
显示文件内容到标准输出上
•hadoop fs -copyToLocal [-crc] src localDest
与-get命令相同
•hadoop fs -moveToLocal [-crc] src localDest
与-get命令相似,但拷贝结束后,删除HDFS上原文件
•hadoop fs -cp src dest
在HDFS中,将src文件或目录复制到dest
•hadoop fs -setrep [-R] [-w] rep path
设置目标文件的复制数
•hadoop fs -touchz path
创建一个文件。时间戳为当前时间,如果文件本就存在就失败,除非原文件长充为0
•hadoop fs -test –[ezd] path
如果路径(path)存在,返回1,长度为0(zero),或是一个目录(directory)
•hadoop fs –stat [format] path
显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)
•hadoop fs –tail [-f] file
显示文件最后的1KB内容到标准输出
•hadoop fs –chmod [-R] [owner][:[group]] path…
递归修改时带上-R参数,mode是一个3位的8进制数,或是[augo]+/-{rwxX}
•hadoop fs –chgrp [-R] group
设置文件或目录的所有组,递归修改目录时用-R参数
HDFS用法

想了解更多信息,可到http://hadoop.apache.org/官网了解。


本文标题:HDFS用法
标题链接:http://scyanting.com/article/ppgppi.html