SparkStreaming+SparkSQL的数据倾斜示例分析
这篇文章将为大家详细讲解有关Spark Streaming+Spark SQL的数据倾斜示例分析,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
在深州等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站设计、成都网站制作 网站设计制作定制网站建设,公司网站建设,企业网站建设,高端网站设计,全网营销推广,成都外贸网站建设公司,深州网站建设费用合理。
1.现象
三台机器都有产生executor,每台都会产生tasks,但是其中只有一台的task有input数据,其他机器的tasks都没有数据。
2.猜想
2.1是不是数据倾斜?
是
2.2是数据量过大,group by时,导致key分布不均?
比如key1 有98万,key2有2万,那么shuffle时,肯定数据倾斜。但是我刚开始数据量不是很大,所以pass (就算数据量大,也很简单处理,一般处理时key加上随机前缀数)
2.3是不是数据量太少 不够分区的?
也怀疑过,不过还没去验证
2.4 flume流到kafka,是snappy压缩格式,而spark作为kafka的消费者,虽然能够自动识别压缩格式,但是这种snappy格式不支持切分
也怀疑过,不过还没去修改支持spilt的压缩格式,也还没去验证
2.5 spark streaming分区数目是有谁决定的?
使用direct这种模式是由kafka的分区数目决定,
使用receiver这种模式由流的数目决定也就是由receiver数目决定。
3.修改分区数
[root@sht-sgmhadoopdn-02 kafka]#bin/kafka-topics.sh --alter --zookeeper 172.16.101.58:2181,172.16.101.59:2181,172.16.101.60:2181/kafka --topic logtopic --partitions 3
[root@sht-sgmhadoopdn-02 kafka]# bin/kafka-topics.sh --describe --zookeeper 172.16.101.58:2181,172.16.101.59:2181,172.16.101.60:2181/kafka --topic logtopic
Topic:logtopic PartitionCount:3 ReplicationFactor:3 Configs:
Topic: test Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2
Topic: test Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
Topic: test Partition: 2 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1
[root@sht-sgmhadoopdn-02 kafka]#
4.验证(每个executor都有input数据)
关于Spark Streaming+Spark SQL的数据倾斜示例分析就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
分享名称:SparkStreaming+SparkSQL的数据倾斜示例分析
转载源于:http://scyanting.com/article/jdjgss.html