Hadoop体系结构是怎么样的

小编给大家分享一下Hadoop体系结构是怎么样的,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

创新互联建站服务项目包括万山网站建设、万山网站制作、万山网页制作以及万山网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,万山网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到万山省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

一.   Namenode

    1. 介绍

1)   是整个文件系统的管理节点

2)   它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表

3)   接收用户的操作请求

4)   文件/目录的元信息是指文件的名称、大小、修改时间等等信息

    2. hdfs文件查看

1)   查看路径:hdfs-site.xml的dfs.replication属性hadoop.tmp.dir


       
              hadoop.tmp.dir
              /usr/local/hadoop/tmp
       

查看文件

[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current
[root@chaoren current]# ls
edits  fsimage  fstime  VERSION

2)   fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息

3)   edits:操作日志文件

4)   fstime:保存最近一次checkpoint的时间

二.   Datanode

        1. 提供真实文件数据的存储服务。

        2. 文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是64MB,以一个256MB文件,共有256/64=4个Block.

        3. 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间

                4. Replication。多复本。默认是三个。查看hdfs-site.xml的dfs.replication属性

三.   SecondaryNameNode

    1.       HA的一个解决方案。但不支持热备。配置即可。

    2.       执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的edits.

    3.         默认在安装在NameNode节点上,但这样...不安全

    4.         其他

以上是“Hadoop体系结构是怎么样的”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


当前题目:Hadoop体系结构是怎么样的
转载来于:http://scyanting.com/article/pegpjc.html