【虚拟化实战】存储设计之七BlockSize
作者:范军 (Frank Fan)新浪微博:@frankfan7 微信:GetToCloud
公司主营业务:成都网站设计、网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出屏边免费做网站回馈大家。
在实战存储设计之六Latnecy我们介绍Latency过高的原因和一些建议。本文重点分析Block Size对性能特别是latency的影响。
什么是Block Size?
Block Size这个词在不同的语境中有不同含义。在此文中指的是在OS中运行的应用发出一个IO读或写请求所传送的数据单元的大小。无论你采用传统存储架构,还是融合,超融合等架构,IOBlock Size对性能都有影响。
如同下图所示,一个IO请求比如搬一块砖,砖块的大小对整个存储架构中的很多组件的负荷都有影响。比如HBA,存储交换机,存储系统的CPU等等,当然存储介质本身对不同砖块的处理能力也不同。
上图摘自博客vmpete.com
为什么Block Size对存储性能有很大影响?
对Throughput的影响:
Throught = IOPsx Block size
同样是10IOPs,256K blocks 需要传输的数据是4K Blocks 的64倍!那么自然会对存储网路的带宽以及存储控制器的CPU消耗都有影响。
对时延Latency的影响
上图摘自vmpete.com。 这是在采用存储性能分析软件PernixData Architect之后,显示了不同Block Size对Lantency的影响。可见当Block Size大于64K时对Lantency的影响最大。
如何来应对大数据块IO带来的挑战呢?
以前没有工具或简单的方法可以很好了解应用产生的Block Size。而且在常规存储设计中,并没有太多顾及到应用产生的Block Size,往往是根据一些假设条件来做出设计决定。即使在存储阵列中采用闪存,其实并不能减少。大数据块IO对HBA,存储网络以及存储控制器产生的负荷。并且我们发现常规SSD硬盘处理大数据块IO的性能并不理想。
利用IO BlockSize真实案例:
案例一:
某客户发现应用性能下降,经排错发现大数据块IO对Latency的影响极大。在不对后台存储有任何改变的情况下,采用PernixData FVP软件和服务器端NVMe PCI闪存对存储性能加速。极大的降低了大数据块IO对Latency的影响。注意该用户才用NVMe PCI闪存而不是常规SSD Drive。因为常规SSD硬盘处理大数据块IO的应能并不好。
案例二:
某客户发现很多应用的性能下降。经排错发现某SQL虚拟机产生非常多的大数据块IO,对该SQL优化后问题解决。
案例三:
某云服务提供商在所有虚拟机中设置 Disk IO Limit,以防止共享环境中某些虚拟过度占用存储资源。vSphere 5.5以后对mclock diskscheduler作了更改,对于block size大于32K的IO,从Disk IO limit这个角度上讲,不在认为该IO只是一个IO. 比如 256K blockSize IO会被认为是8个IO。
了解应用Block Size的大致情况,会对更好的设置Disk IOLimit有很大帮助。
Reference:
Viewing the impact of block sizes with PernixData Architect
Limit a VM from an IOps perspective
当前文章:【虚拟化实战】存储设计之七BlockSize
文章位置:http://scyanting.com/article/josjeg.html