MONGODB磁盘与内存的数据格式一致吗

本篇内容主要讲解“MongoDB磁盘与内存的数据格式一致吗”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MONGODB磁盘与内存的数据格式一致吗”吧!

创新互联是一家专注于网站设计、做网站与策划设计,海林网站建设哪家好?创新互联做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:海林等地区。海林做网站价格咨询:18982081108

最近MONGODB 系统中的数据量逐渐变大,联系了开发准备开始进行数据的archive 和  cleanup 事宜。其中运维的同学问我,你存储的数据size 和实际的数据 size 是不一样的,我回答那是mongodb 自带的数据压缩功能。

但后续的问题我模糊了,例如磁盘和内存的数据是否完全一致,压缩的比率是多少,等等。人无完人,我也不是DB 百科全书。不过好在还不是中年油腻大叔,模糊了那就learning 去。

那就直奔主题wiredTiger , wiredTiger 作为MONGODB 的主力存储引擎(3.0以后,当然还有PERCONA 但目前不主流)。

首先我们看看wiredTiger 到底是怎么存储数据的,本身wiredTiger 存储数据的方式有两种, 行模式 和 列模式。而这两种方式都是使用 B+ TREE的方式来进行数据的存储的。

在行模式中,KEY 与 Values 都是 strings 可变的,而如果采用列的方式,key是通过 64BIT的方式记录 Values 和行模式一样。所以行与列的模式中不同的是 key 的存储方式。

这两种存储方式各有优点和缺点

行的方式提取整行数据快,但需要的存储空间大,并且如果某些方面设计不好,消耗的I/O 无论从性能还是尺寸上都比较大。

列式存储则适合提取所需的字段(意思就是最好别一次提取较多的字段,否则没优势),并且存储的值被限制在 8-BITS 这限制值的大小。相关的mongodb的并发控制主要在 transactions , snapshots 和  cache几个位置

MONGODB磁盘与内存的数据格式一致吗

MONGODB中 基本行采用了行模式的方式进行数据的存储,而数据存储中就会牵扯到 mongodb  中的数据压缩

目前行的存储方面支持四种压缩方式

1 键值前缀压缩

2 字段压缩

3 霍夫曼数据编码压缩

4 块压缩

具体四种压缩方式,默认采用的是键值前缀压缩的方式。这主要是根据CPU 磁盘的消耗,压缩,以及算法的复杂度等因素考虑。

首先要确认的是,磁盘存储的数据与在内存中的数据一定是不一样的,要不怎么还有压缩一说。

1

文件系统缓存中的数据与磁盘上的格式相同,包括对数据文件进行任何压缩,MONGODB使用文件系统缓存来减少磁盘I/O。

2

WiredTiger内部缓存中加载的索引具有与磁盘格式不同的数据表示形式,但是仍然可以利用索引前缀压缩来减少RAM的使用。索引前缀压缩从索引字段中去除常见前缀。

3

WiredTiger内部缓存中的收集数据是未压缩的,并且使用与磁盘格式不同的表示形式。

关于压缩比率的问题,其实没有一个具体的固定的比率这和存储的数据是有关的,下面有一个图,这是 percona 的一个 PPT 中曾经提到的压缩的比率还是比较高的

到此,相信大家对“MONGODB磁盘与内存的数据格式一致吗”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


分享名称:MONGODB磁盘与内存的数据格式一致吗
文章来源:http://scyanting.com/article/jjsjsc.html