数字化转型大势下,企业如何实现数据管控?-创新互联
在上一篇我们讲到了业务人员可以用永洪产品的自服务数据集进行自助式分析,那么IT管理员如何管理业务人员进行分析呢?
公司主营业务:成都做网站、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出隆安免费做网站回馈大家。某财险类客户案例
永洪的某财险客户需要业务用户进行自助式分析,高峰期在350并发以上,企业IT管理部希望对所有IT人员和业务人员查询数据的数据量大小优先级进行管控,然后让业务用户进行自助式分析。
如何设置?
因为该财险公司已经将数据存储在了Cloudera Impala集群中。该财险的IT管理部门会根据每一个用户的数据量大小、业务类型分配队列,并且详细设置该队列中的默认查询参数,尤其是mem_limit参数和大并发数,这样可以较好的限制用户之间的影响,为了避免恶意用户的使用,可以限制用户自己设置mem_limit参数,尽可能得保证Impala集群的稳定性。
1、在Impala数据库层面,IT管理员或者DBA可以在session建立之后进行设置。
设置队列限制
set request_pool = queue_it;
用户在创建一个数据源连接(connection)之后,可以通过set request_pool=pool_name的方式设置改session的请求提交的对应的队列。
设置大内存使用限制
set mem_limit=10G;
设置内存10G(单节点上的内存量),impala经常会over estimate SQL语句需要的资源,所以强烈建议在执行SQL之前,使用 set mem_limit 限制SQL查询的内存消耗。
2、永洪产品设置
提供了在数据源连接后对session进行设置的属性。
针对于不同2种类的用户,IT管理员期望根据数据量大小、业务类型设置分配的队列。
实现步骤:
选择永洪产品数据源,impala:
在设置好Impala数据源的基础连接信息后,选择数据源的高级属性进行如图设置。
直接在队列名设置queue_it , 并且点击添加高级属性限制mem_limit=2G。
如下所示,IT部门的数据源为Impala_it,设置如下:
企业想要实现数据管控,永洪Impala数据源的高级属性了解下
财务部门的数据源Impala_finance,设置如下:
企业想要实现数据管控,永洪Impala数据源的高级属性了解下
两者存储在数据源上的资源树上,如下图所示:
企业想要实现数据管控,永洪Impala数据源的高级属性了解下
财险部门的用户(user_finance)在制作数据集时直接选择对应的数据源即可查询数据。
以上就是关于永洪产品Impala数据源的高级属性的使用介绍,永洪科技强大的产品功能,不仅可以帮助企业人员实现数据化管理,也让更多业务人员能够进行自助式分析查询。关于永洪产品的功能介绍,我们将持续更新。想体验永洪科技数据分析强大的功能,可以下载Yonghong Desktop进行一键安装体验。
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网站栏目:数字化转型大势下,企业如何实现数据管控?-创新互联
分享链接:http://scyanting.com/article/diicgc.html