Hadoop生态圈以及各组成部分是什么

本篇文章给大家分享的是有关Hadoop生态圈以及各组成部分是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

创新互联是一家专业提供赣榆企业网站建设,专注与成都网站设计、成都做网站H5页面制作、小程序制作等业务。10年已为赣榆众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。

1.Hadoop是什么?

适合大数据的分布式存储与计算平台

HDFS: Hadoop Distributed File System分布式文件系统

MapReduce:并行计算框架

2.Hadoop生态圈

Hadoop生态圈以及各组成部分是什么

①HBase

Google Bigtable的开源实现

列式数据库

可集群化

可以使用shell、web、api等多种方式访问

适合高读写(insert)的场景

HQL查询语言

NOSQL的典型代表产品

Hadoop生态圈以及各组成部分是什么

②Hive

数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表

支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务,几乎SQL的其它特征都能支持

可以看成是从SQL到Map-Reduce的映射器

提供shell、JDBC/ODBC、Thrift、Web等接口

Hadoop生态圈以及各组成部分是什么

③Zookeeper

Google Chubby的开源实现

用于协调分布式系统上的各种服务。例如确认消息是否准确到达,防止单点失效,处理负载均衡

应用场景:Hbase,实现Namenode自动切换

工作原理:***,跟随者以及选举过程

Hadoop生态圈以及各组成部分是什么

④Sqoop

用于在Hadoop和关系型数据库之间交换数据

通过JDBC接口连入关系型数据库

Hadoop生态圈以及各组成部分是什么

⑤Chukwa

架构在Hadoop之上的数据采集与分析框架

主要进行日志采集和分析

通过安装在收集节点的“代理”采集最原始的日志数据

代理将数据发给收集器

收集器定时将数据写入Hadoop集群

指定定时启动的Map-Reduce作业队数据进行加工处理和分析

Hadoop生态圈以及各组成部分是什么

⑥Pig

Hadoop客户端

使用类似于SQL的面向数据流的语言Pig Latin

Pig Latin可以完成排序,过滤,求和,聚组,关联等操作,可以支持自定义函数

Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行,减少用户编写Java程序的苦恼

Hadoop生态圈以及各组成部分是什么

⑦Avro

数据序列化工具,由Hadoop的创始人Doug Cutting主持开发

用于支持大批量数据交换的应用。支持二进制序列化方式,可以便捷,快速地处理大量数据

动态语言友好,Avro提供的机制使动态语言可以方便地处理 Avro数据。

Thrift接口

⑧Cassandra

NoSQL,分布式的Key-Value型数据库,由Facebook贡献

与Hbase类似,也是借鉴Google Bigtable的思想体系

只有顺序写,没有随机写的设计,满足高负荷情形的性能需求

3.Hadoop生态圈流程图

Hadoop生态圈以及各组成部分是什么

以上就是Hadoop生态圈以及各组成部分是什么,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。


本文标题:Hadoop生态圈以及各组成部分是什么
转载来源:http://scyanting.com/article/gheesc.html