以场景为驱动，以100%自研为基石，QingStor分布式存储全线升级
[摘要] 企业的存储场景是非常多样和复杂的，不存在一种架构设计能够完全满足所有存储场景。有些场景需要极致性能，有些需要大容量，有些需要高IOP "企业的存储场景是非常多样和复杂的，不存在一种架构设计能够完全满足所有存储场景。有些场景需要极致性能，有些需要大容量，有些需要高IOPS，有些需要高吞吐，有些则需要通用接口。"
QingStor 存储产品线研发负责人王煜
在以"八年锻造，为云而生"为主题的QingStor 分布式存储全速升级发布会上，QingStor 存储产品线研发负责人王煜这样阐述青云QingCloud对企业级存储需求的理解。
八年锻造的QingStor分布式存储家族
毋庸置疑的是，近十年来，伴随着移动互联网、云计算、大数据、5G、人工智能等技术的发展，企业级存储市场正发生着深刻变革。
首先自然是分布式存储的快速增长。如今企业内部分布式存储部署的占比越来越高，某些企业分布式存储的部署占比甚至超过了传统存储。IDC 2019年发布的相关市场预测报告也显示，无论是对象存储、文件存储还是块存储，未来几年里仍将保持两位数高速增长。
其次便是全闪存逐渐成为主流。受益于全闪介质成本的不断降低，全闪存越来越受到企业客户的追捧。"我们私下做过一个计算，按照IOPS这一存储关键性能指标计算，全闪存每单位IOPS对应的价格与传统机械硬盘价格不相上下，这是企业采用全闪存储最主要的驱动力。" 王煜说。同样引用IDC的数据来看这一趋势：在所有采用存储设施的企业中，全闪存已达到80%的使用率，且未来仍将以50%的年均增速高速增长。
最后便是数据冷热的层级愈发分明。随着热数据、温数据、冷数据界限越来越分明，根据数据应用频率，选择将其存储于不同种类存储设施中，既有利于企业更好地使用数据，输出洞察，又可节省存储成本。
这也是八年来，QingStor分布式存储家族一直致力的事——为不同业务场景，不同需求提供相应企业级存储产品，分别为：为极致性能、热数据设计的QingStor NeonSAN分布式块存储;为海量非结构化数据设计的QingStor对象存储;为通用场景设计的QingStor文件存储;为高性价比、一套架构提供多种接口的QingStor融合存储。
围绕实际场景，全线升级
本次会上，QingStor存储家族也迎来了全线升级：包括QingStor NeonSAN 3.0、QingStor 对象存储 3.0、QingStor 文件存储 2.0 以及管理平台 Portal 3.0。同时，青云QingCloud也推出容器存储一体机 KubeSphere KF3000 和分布式全闪存储一体机 QingStor NF6000 两大新品。具体来看此次升级：
QingStor NeonSAN 3.0从场景能力和功能两大方面进行提升。在场景能力方面，QingStor NeonSAN 针对云平台/虚拟化场景、大数据场景、业务连续性场景以及容器/云原生四个主要核心场景进行能力升级，如围绕云平台/虚拟化场景新增兼容平台 VMware vSphere 7.0、Hyper-v、Hadoop 等提供新的特性;围绕大数据场景提高存储使用效率和大数据应用能力;围绕业务连续性场景提供整套完整解决方案，提高资源管理能力，简化管理难度等。
在功能方面，QingStor NeonSAN 3.0 版本新增了四大功能，包括支持异构存储池以及NVMe-oF 协议、卷粒度的QoS、在协议层面的全 RDMA 互联。
QingStor 对象存储 3.0：新增对象版本控制、数据的追加写入、数据跨区域复制等新功能，提升在数据迁移、数据保护、数据备份和AI与视频监控方面的能力，以实现在海量数据存储能力、整体超高性能、存储系统开放能力三方向上重点突破，如：500 并发下的 128k 文件读性能可达 41957 OP/s，单存储桶(Bucket)对象数量超百亿时，性能仍保持稳定。
QingStor 文件存储 2.0：在系统架构层面持续升级，增加智能 I/O 逻辑，并通过采用更加安全、高效的系统级开发语言 Rust 重构核心模块，提升性能，如单客户端 4k 随机读写提高超过 200%，单客户端 64k 顺序读写吞吐提高 100%。
管理平台Portal 3.0：加入对象存储管理，实现全线存储的统一;加入创新的图形元素，增强企业运维人员对存储的理解;增加硬盘健康状况预警功能，帮助运维人员在硬盘发生故障之前，提早预测系统内部可能发生的故障。
KubeSphere KF3000 容器一体机和QingStor NF6000分布式全闪存储一体机则分别旨在帮助企业级用户快速落地容器平台以及实现高性能全闪的普惠。
在此可重点关注KubeSphere KF3000 容器一体机。的确，容器技术的出现便是要尽可能的简化开发者和运维者。青云QingCloud认为，如果只是把目前国内第一款开源容器平台KubeSphere以及业界领先的分布式块存储QingStor NeonSAN简单拼凑提供给企业，企业还需要做大量配置的工作，在落地生产上也要再做优化。这和容器平台的理念是相悖的。
因此，KubeSphere KF3000一定是KubeSphere 容器平台与 QingStor NeonSAN 的强强联合。其经过代码级的深度整合、软硬件一体化调优，是一款一站式的商用交付方案，可以提供集底层基础资源到上层容器调度开发平台于一体的、开箱即用的完整商用级服务。由于核心组件经过规模化的生产验证，KubeSphere KF3000具有极强的可靠性，在性能指标上也处于业界领先水平。
如KubeSphere KF3000一样，青云QingCloud希望的是QingStor存储家族能真正解决企业在数字化应用中的痛点、难点。一个QingStor对象存储的典型案例：
在5G、物联网及人工智能的推动下，自动驾驶已成为行业热门。但对自动驾驶而言，要将每天采集到的上百TB原始数据在短时间内做深度分析、输出结果，然后形成一套可靠的模型框架和数据服务。这无疑是一个对存储要求很高的业务场景，因为其涵盖了海量数据存储、数据高并发处理要求，以及对接多个数据处理平台，如GPU深度学习、采集平台。
凭借着性能、标准开放的应用接口等特性，QingStor对象存储 3.0与传统存储相比不仅体现了成本优势，还兼具着灵活部署、运维简单等隐性成本，这使得QingStor对象存储 3.0很好地胜任了客户需求。目前，该对象存储已经存储了超过 10PB 的数据。在业务初期，QingStor对象存储也处理了跨云、跨区的大量存量数据迁移问题。
100%自研基因，为全栈自主可控助力
当然，谈分布式存储如果不谈底层架构，无异是一种外行行为。当前，市面上基于Ceph、HDFS等主流开源分布式存储架构作为底层做二次封装、开发的产品并不在少数。
但QingStor选择了截然不同的方式。"QingStor 分布式存储产品从架构设计到产品开发，完全采用 100 %自主设计、自主研发，从零开始构建而成。" 王煜说。
在王煜看来，自研无疑一条艰难的路，但青云QingCloud坚持走这条路，无外乎两点：一是企业核心业务上云，对存储的要求非常严格。这个严格不止像传统存储对性能、稳定性的要求这么简单，更多是在云计算复杂场景下对于安全性、隔离性、大规模水平扩展能力的要求。"市面上很多主流的开源存储，没有一款能够完全满足上述所有要求。"
二是作为一家中国企业，青云QingCloud希望能够为中国客户提供全栈自主可控的优质产品，从而消除企业对数据安全的顾虑。
也因此，截至目前，QingStor 分布式存储已经全面适配国产化软硬件平台，完成与鲲鹏、飞腾、中科海光、浪潮 OpenPower 等国产芯片的兼容适配测试，实现对统信 UOS、麒麟、欧拉等主要国产操作系统的兼容对接，从软件架构、底层芯片到操作系统，全面实现和国产化厂商的兼容、互认证，构建起国产化生态。
分享标题：以场景为驱动，以100%自研为基石，QingStor分布式存储全线升级
文章分享：http://scyanting.com/article/cjspeo.html
