Hbase内存分配与集群规划的方法是什么

本篇内容主要讲解“Hbase内存分配与集群规划的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hbase内存分配与集群规划的方法是什么”吧!

在江城等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、做网站 网站设计制作定制开发,公司网站建设,企业网站建设,成都品牌网站建设,成都营销网站建设,外贸营销网站建设,江城网站建设费用合理。

HBASE内存规划与调优

1. Hbase BlockCache常用类型

一个regionserver只能有一个BlockCache。

  • 读多写少型 BucketCache。

  • 写多读少型 LRUBlockCache。

注:使用BucketCache还是使用LRUBlockCache,只和分配给RegionServer的内存大小有关。一般而言,如果HBASE_HEAPSIZE > 20G,选择BucketCache,否则选择LRUBlockCache。

  • 硬性规定:LRUBlockCache + MemStore < 80% * JVM_HEAP,即留出20%的空间,否则RS无法启动。

  • 默认分配给MemStore和BlockCache的JVM内存比例均为0.4

2. regionServer与region的对应关系

  1. 默认的hbase.hregion.memstore.flush.size =128M,即每个MemStore大小为128M,所以一个regionserver所能支持的最大region就可以计算出来

    JVM_HEAP_SIZE * 0.4 / 128M / 列族个数

    如果写很重的场景下,可以适当调高hbase.regionserver.global.memstore.size,这样可以容纳更多的region数量。建议分配合理的region数量,根据写请求量的情况,一般20-200个之间,可以提高集群稳定性,排除很多不确定的因素,提升读写性能。

    通常较少的region可使集群运行的更加平稳,官方指出,每个regionServer大约100个regions的时候效果最佳,设计表的时候应该尽量减少列族

  2. 每个region最佳大小5-10GB

到此,相信大家对“Hbase内存分配与集群规划的方法是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


标题名称:Hbase内存分配与集群规划的方法是什么
文章路径:http://scyanting.com/article/pggggh.html