怎么理解spark的计算器与广播变量-创新互联

这篇文章给大家介绍怎么理解spark的计算器与广播变量,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

成都创新互联主要业务有网站营销策划、网站设计、网站制作、微信公众号开发、小程序定制开发H5技术、程序开发等业务。一次合作终身朋友,是我们奉行的宗旨;我们不仅仅把客户当客户,还把客户视为我们的合作伙伴,在开展业务的过程中,公司还积累了丰富的行业经验、营销型网站建设资源和合作伙伴关系资源,并逐渐建立起规范的客户服务和保障体系。 

一.计算器

1.官网

怎么理解spark的计算器与广播变量

2.解释

计数器只支持加,计算器字task里面

3.测试

怎么理解spark的计算器与广播变量

4.结果截图WEBUI

怎么理解spark的计算器与广播变量

4.应用场景

数据很多有的数据挂了,做数据质量监控用

二.广播变量

1.官网

怎么理解spark的计算器与广播变量

2.join代码

 def commonJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂虫"),("G302","森老"),("G303","Gordon"))).map(x=>(x._1, x))
    val peopleDetail = sc.parallelize(Array(("G301","清华大学",18))).map(x=>(x._1,x))
    // TODO... 大表关联小表  join  key   from a join b on a.id=b.id
    peopleInfo.join(peopleDetail).map(x=>{x._1 + "," + x._2._1._2 + "," + x._2._2._2+ "," + x._2._2._3})
  }

3.结果WEBUI

怎么理解spark的计算器与广播变量

4.广播变量使用前提

广播变量的前提条件是数据量少,一大一小,不能超过内存
数据量大小还要看内存,你内存够大就可以放
广播变量放到内存中

5.广播变量的join代码

  def broadcastJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂虫"),("G302","森老"),("G303","Gordon"))).collectAsMap()
    val peopleDetail = sc.parallelize(Array(("G301","清华大学",18))).map(x=>(x._1, x))
    // 通过sc将变量广播出去
    val peopleBroadcast = sc.broadcast(peopleInfo)
    // mappartition: 取出表中的一条记录和广播变量中的对比
    peopleDetail.mapPartitions(x=>{
      val map = peopleBroadcast.value  // 是不是就是内存的东西
      for((key,value)<-x if (map.contains(key)))
        yield (key,map.get(key).getOrElse(""), value._2)
    }).foreach(println)
  }

6.WEBUI结果

怎么理解spark的计算器与广播变量

7.两个join对比

广播变量的没有了shuffer
有前提数据量不可以多
把小表广播到内存中,大表每个数据与其对比
有就要,没有就不要。
广播变量与join结合工作中常用

关于怎么理解spark的计算器与广播变量就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


分享题目:怎么理解spark的计算器与广播变量-创新互联
本文URL:http://scyanting.com/article/dpceie.html