Spark2.x入门中SparkStreaming的工作原理是什么
本篇文章给大家分享的是有关Spark2.x入门中SparkStreaming的工作原理是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务太湖,10余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
官网翻译大体意思如下:
SparkStreaming是核心SparkApi的扩展,支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取,如Kafka、Flume、Kinesis或TCP sockets,可以使用复杂的算法处理数据,这些算法用高级函数表示,如map、reduce、join和window。最后,处理后的数据可以推送到文件系统、数据库和活动仪表板。实际上,您可以将Spark的机器学习和图形处理算法应用于数据流。
内部工作原理:SparkStreaming接受实时输入数据流,并将数据分成批次,然后由Spark engine处理,以批量生成最终的结果流。
DStream是SparkStreaming流提供的基本抽象。它表示连续的数据流,可以是从源接收到的输入数据流,也可以是通过转换输入流生成的经过处理的数据流。在内部,DStream由一系列连续的RDD表示,RDD是Spark对不可变的分布式数据集的抽象。DStream中的每个RDD包含来自某个间隔的数据,如下图所示。
应用于DStream上的任何操作都转换为底层RDD上的操作。例如,在前面将一个行流转换为单词的示例中,flatMap操作应用于行DStream中的每个RDD,以生成单词DStream的RDD。如下图所示。
这些底层的RDD转换是由Spark引擎计算的。DStream操作隐藏了这些细节中的大部分,并为开发人员提供了更高级的API。这些操作将在后面的小节中详细讨论。
SparkStreaming 、Flink 、Storm 三种流式处理框架对比分析
SparkStreaming | Flink | Storm | |
吞吐量 | 高吞吐 | 高吞吐 | 低吞吐 |
实时性 | 秒级延迟 | 低延迟,毫秒级(百毫秒) | 低延迟,毫秒级(几十毫秒) |
乱序、延迟处理 | 无 | flink通过warterMarker水印支持乱序和延迟处理,这个spark没有 | 无 |
保证次数 | exactly-once | exactly-once | at-least-once |
动态调整并行度 | 不支持 | 支持 | 支持 |
容错 | 基于RDD的checkpoint | 基于分布式Snapshot的checkpoint | 基于Record记录的ack机制 |
以上就是Spark2.x入门中SparkStreaming的工作原理是什么,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
网站题目:Spark2.x入门中SparkStreaming的工作原理是什么
转载来源:http://scyanting.com/article/peijho.html