四川盐亭网站制作公司

Hive中如何使用MAPJOIN

这篇文章给大家分享的是有关Hive中如何使用MAP JOIN的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

创新互联于2013年创立，是专业互联网技术服务公司，拥有项目网站建设、成都网站设计网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元新昌做网站,已为上家服务,为新昌各地企业和个人服务,联系电话:13518219792

Hive中简介及使用MAP JOIN

   Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下mapjoin的原理和机制。

一、MAP JOIN图
Hive中如何使用MAP JOIN
二、概述
MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。
Hive0.7之前，需要使用hint提示 /*+ mapjoin(table) */才会执行MapJoin,否则执行Common Join，但在0.7版本之后，默认自动会转换Map Join，由参数hive.auto.convert.join来控制，默认为true.
假设a表为一张大表，b为小表，并且hive.auto.convert.join=true,那么Hive在执行时候会自动转化为MapJoin。

三、测试
1、两表关联：

点击(此处)折叠或打开

  1. select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d on e.deptno = d.deptno;

   条件：emp表数据为1000条，dept表数据为100条；
   说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
         存在小表时将先行进行小表加载到内存中，即dept表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。

2、多表关联
   条件：emp表数据为1000条，dept表数据为100条，emp_partition表数据为500条；

点击(此处)折叠或打开

  1. select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d join emp_partition c on e.deptno = d.deptno and e.empno = c.empno;

   说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
         存在小表时将先行进行小表加载到内存中，即dept、emp_partition表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。
注：以上可以对照SQL的执行计划或执行日志更详细，后续补充相关截图及说明

四、使用MAPJOIN可解决以下实际问题：
1、有一个极小的表<100行（d表是部门）
2、需要做不等值join操作（a.x

点击(此处)折叠或打开

  1. 1、小表自动选择Mapjoin

  2. set hive.auto.convert.join=true;

  3. 默认值：false。该参数为true时，Hive自动对左边的表统计量，若是小表就加入内存，即对小表使用Map join

  5. 2、小表阀值

  6. set hive.mapjoin.smalltable.filesize=25000000;

  7. 默认值：25M

  8. hive.smalltable.filesize (replaced by hive.mapjoin.smalltable.filesize in Hive 0.8.1)

  10. 3、map join做group by操作时，可使用多大的内存来存储数据。若数据太大则不会保存在内存里

  11. set hive.mapjoin.followby.gby.localtask.max.memory.usage;

  12. 默认值：0.55

  14. 4、本地任务可以使用内存的百分比

  15. set hive.mapjoin.localtask.max.memory.usage;

  16. 默认值：0.90

感谢各位的阅读！关于“Hive中如何使用MAP JOIN”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


分享名称：Hive中如何使用MAPJOIN
本文地址：http://scyanting.com/article/jecogp.html

其他资讯