Hadoop深入浅出实战经典–第02讲-创新互联

本文来源:通通学--知识学习与分享平台

创新互联公司是一家专注于网站设计、网站建设与策划设计,纳溪网站建设哪家好?创新互联公司做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:纳溪等地区。纳溪做网站价格咨询:18982081108

转载链接:http://www.tongtongxue.com/archives/220.html

Hadoop的核心

HDFS: Hadoop Distributed File System 分布式文件系统

MapReduce:并行计算框架

Yarn:集群资源管理和调度框架

Hadoop是什么?

适合大数据的分布式存储、计算、资源管理平台

作者:Doug Cutting

受Google三篇论文的启发

Hadoop生态系统

Hadoop深入浅出实战经典–第02讲

HDFS

Hadoop深入浅出实战经典–第02讲

主从结构
主节点,只有一个: namenode
从节点,有很多个: datanodes

namenode负责:
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系,block与datanode之间关系

datanode负责:
存储文件
文件被分成block存储在磁盘上
为保证数据安全,文件会有多个副本

Yarn

Hadoop深入浅出实战经典–第02讲

Yarn下的MapReduce

主从结构
主节点,只有一个: ResourceManager
控制节点,每个Job都有一个MRAppMaster
从节点,有很多个: YarnChild

ResourceManager负责:
接收客户提交的计算任务
把Job分给MRAppMaster执行
监控MRAppMaster的执行情况

MRAppMaster负责:
负责一个Job执行的任务调度
把Job分给YarnChild执行
监控YarnChild的执行情况

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


当前文章:Hadoop深入浅出实战经典–第02讲-创新互联
文章起源:http://scyanting.com/article/jgjip.html