Hadoop的基础架构
Hadoop这个名字现在对很多开发者来说,并不陌生,但是很多开发者对其工作原理和架构并不了解。Hadoop怎么实现的分布式存储和分布式计算,其计算性能为什么会提高那么多。本文将从其基本工作原理方面解释上上述问题,博主是初学者,不喜勿喷,还请前辈多多指教。
成都创新互联公司服务项目包括麻城网站建设、麻城网站制作、麻城网页制作以及麻城网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,麻城网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到麻城省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
一、Hadoop名字的起源
大家在网上搜索Hadoop关键字的时候,出现的图片绝大多数是一头可爱的***的小象,很多人并不理解这个分布式平台和小象有什么关系。Hadoop是Apache公司对Google GFS(Google FileSystem)和MapReduce的开源实现,该项目组的负责人Doug Cutting后来解释说,其实“Hadoop”这个词并不在字典中,是一个虚拟的词,源于他的小儿子,他的小儿子有一个***的小象玩具,并且叫这个玩具Hadoop(发音类似),Doug Cutting觉得这个很有意思,简单的拼写,容易本人记住,并且不容易被用在别处,也没有其他的意义,非常合适作为这个开源项目的名字,于是这个名字就被用上了,***小象也成了Hadoop的代名词。
二、Hadoop是什么
首先了解一下什么是分布式计算,所谓的分布式计算,既是说把一个很负责计算或者一个计算量很大计算,拆分成由很多小型的计算同时进行,提高计算的效率,缩小时间成本。他是和集中式计算想对应的,分布式计算往往和计算机集群联系在一起,比较依赖计算资源。Hadoop比较官方的说法是,Hadoop是一个由Apache基金会所开发的分布式系统基础架构(百度百科)。简单的说,Hadoop就是分布式系统架构中的一款产品,也是其中功能实现比较齐全、使用最方便和最广泛的一款产品。
Hadoop主要是实现了分布式文件系统(HDFS)及其对应分布式计算模型MapReduce。Hadoop可以部署在廉价的机器上,并且能保证高容错性,计算机集群又能保证高数据吞吐量,并且能充分利用MapReduce分布式计算模型实现大批量数据计算,使得很多企业越来越倾向于使用Hadoop来开发自己的产品。
三、Hadoop的架构
从Hadoop本身来说,如上述,Hadoop主要由两部分组成,分布式文件系统HDFS和分布式计算模型MapReduce,HDFS位于Hadoop的底层,主要提供文献存储功能,其上层是MapReduce,其数据计算来源主要是HDFS中的数据,计算完成的输出结果往往也会保存到HDFS中,也可以保存在本地,这个后面会详细介绍。
HDFS
从用户client的角度来说,HDFS就像是一个普通的文件系统,和Linux系统中的文件系统功能很相似,其文件操作也和linux系统的文件操作命令类似,所以,熟悉linux的朋友不会对Hadoop陌生,操作简介方便这也是Hadoop被开发者广泛接受的原因之一。
但是从系统的角度来说,并不是那么简单,HDFS由很多台服务器共同组成,多台服务器共同完成分布式存储功能。文件数据在其中是以block的方式存储的,每一个block的大小默认是64M(可以修改配置更改),既是说一个大文件在存储时会被切割成64M大小的block,存储在HDFS中,结尾不足64M的部分独占一个block,并且每一个block都默认有三个备份(可以修改配置更改备份数量),即数据冗余。HDFS有很多优点:
易扩展:由于是部署在集群上的,所以其容量会随着集群的扩张而扩展,如果配置高质量的集群管理,扩展到千万结点上也很轻松。
(1)高吞吐量:由于其和集群的密切关系,并且扩展性非常好,所以HDFS可以很轻松的存储T级别或者更大量的数据,只要集群装得下。
(2)高可靠性:由于HDFS采用的数据冗余策略,每一个block都有备份,既是出现部分服务器宕机,也不会影响数据的完整性。
(3)高效性:由于其数据是分布式存储的,并且block可以在结点之间快速移动,保持结点平衡,所以很高效的支持分布式计算。
(4)廉价:由于Hadoop的设计初衷就是在廉价的服务器上部署分布式计算,使得很多规模不大的小公司能够承担得起这方面的消费。
缺点:
HDFS不适合实时计算,其数据是一次写入,多次读取,并且数据访问时间延迟比较大,其设计初衷是高吞吐量,所以就牺牲了实时性。
MapReduce
MapReduce是Hadoop的另外一个核心技术:分布式计算,其实非常简单,就是利用HDFS分布式存储的特点,在此基础上在每一个block或者文件逻辑单元上建立一个子计算,牺牲计算空间来换取计算时间。其计算模型分为两个步骤,即Map(映射)和Reduce(集合),Map部分为每一条数据建立一个
从集群的角度来说,Hadoop是由NameNode,DataNode,SecondaryNameNode和Client组成,如下图所示(图片来源于百度百科):
NameNode是Hadoop集群的主节点,也是集群的控制节点,SecondaryNameNode是二级主节点,可以理解为NameNode的备份,主节点挂掉时,SecondaryNameNode补上,作为主节点。主节点本身并不存储大量数据,也不提供计算资源,只是为集群提供命名空间,其中保存的有文件映射,即Metadata,通过这种方式找到文件系统中的文件。DataNode是集群中的数据结点,用于保存大批量数据,和提供计算所需计算资源,MapReduce实际运行在DataNode中,NameNode只是控制作用。Client是客户端。集群中通信是以TCP/IP的方式来完成的。
Hadoop的架构先介绍到这里,后面有需要会补充,谢谢!
当前标题:Hadoop的基础架构
本文链接:http://scyanting.com/article/jjcsdo.html