大数据：不容忽视的十大趋势
不久前，《中华人民共和国数据安全法》正式颁布，数据安全、数据要素、数据分级等热词受到关注。经过数年发展，我国的大数据产业日渐成熟，很多创新技术从概念走向落地。那么，我国大数据产业发展呈现哪些重要趋势？中国信息通信研究院正式发布《2021大数据十大关键词》，本报邀请中国信通院云计算与大数据研究所所长何宝宏对关键词进行解读。
关键词1：数据要素市场化
中央正式提出“加快培育数据要素市场”已满一年，2021年产业各界在法规、机制、技术等方面开始了诸多探索。一是数据相关立法正在完善，《数据安全法》正式颁布，《个人信息保护法（草案）》即将出台，相关法律的陆续完善为数据要素市场化提供了保障基础，同时深圳、上海、安徽等地方政府正在积极制定地方数据条例。二是数据交易开始探索新模式，山东、北京、北部湾等新一批成立的大数据交易所纷纷开始探索数据登记、数据信托、数据运营管理、数据资产证券化等新型业务模式，推进打造规范化、一体化的数据流通市场生态。三是企业数据资产化掀起实践浪潮，南方电网、光大银行、浦发银行等领先企业开始进行更深层的数据资产化探索。
关键词2：数据安全治理兼顾安全与发展
数字经济时代，数据价值的释放在于其流通与共享，这种天然的流动性导致传统的信息安全防护措施已经不再适用。2021年6月初，《中华人民共和国数据安全法》颁布，明确要求企业“建立健全数据安全治理体系，提高数据安全保障能力”，企业必须在业务发展与数据安全之间寻求平衡点。数据安全治理是实现安全与发展双向促进的有效抓手，然而当前产业缺少基于良好实践的方法论和精准衡量企业治理能力的评估工具。为此，中国信通院联合20多家企业制定了团体标准《数据安全治理能力评估框架》，已于今年4月正式发布。
关键词3：DataOps从概念到实践
DataOps是数据管理发展到一定阶段的产物。2018年Gartner提出DataOps，将其纳入数据管理Hype Cycle的三项技术之一。同时，部分数据管理能力相对领先的企业尝试引入DataOps理念，关注数据管理流程和技术的优化，以及数据运营模式的创新。DataOps在2021年实现了从概念到实践的突破。一方面，相关技术产品加快推出。华为云、腾讯云、阿里云、亚信科技等大数据技术服务商对数据管理产品组件进行了重构，纷纷推出数据开发治理产品。另一方面，领先企业持续贯彻落实DataOps理念。工商银行、腾讯游戏、浙江移动等企业优化了数据管理思路，打通了数据生产、管理、消费、运营的全链条，将数据标准、数据质量管控嵌入数据开发治理过程中。
关键词4：隐私计算迎来市场发展爆发期
2021年隐私计算备受关注，隐私计算即将迎来市场发展爆发期。国家发展改革委、中央网信办、工业和信息化部、国家能源局、人民银行等部门发文鼓励多方安全计算、联邦学习等隐私计算技术发展和应用，政策环境进一步优化。当前，隐私计算企业和产品数量迅速增多，算法不断优化、相关技术加快融合、产品成熟度和可用性进一步提升。与此同时，市场已经对隐私计算应用达成基本共识，隐私计算相关招投标项目和应用案例不断丰富，隐私计算正式步入落地应用阶段。
关键词5：大数据服务体系成为新的竞争点
规划咨询、部署实施、运维运营等软性工作共同构成大数据服务体系，解决了产品到应用的“最后一公里”问题。然而，由于大数据技术的复杂性和与业务结合的紧密性，大数据项目无法做到“交钥匙”工程，需要优质且持续的服务。中国信通院最新产品测试结果表明，虽然当前国内大数据产品功能项通过率已经达到了95.69%，但服务能力差距依然巨大，根据中国信通院2020年发布的服务能力评估结果，企业平均分值只有71分（满分100分），各项细节能力均存在不足。大数据市场发展的主要矛盾已经从产品化不足转移到了服务能力不够，大数据服务能力将成为供给侧各企业新的竞争点。
关键词6：数据技术产品与云计算深度融合
随着云原生技术的成熟以及企业云上应用的丰富，大数据技术产品与云计算深度融合，从云化走向云原生化，使其具备按需付费、低成本、扩展性强、存算分离、一键部署等特性。2021年，亚马逊、阿里、腾讯、华为分别推出了与云融合的各类大数据技术产品，包括计算分析类、存储类、数据库类等。
关键词7：实时计算逐渐普适化
大数据的3V特征中，其中一个就是时效性。随着分布式流处理平台的不断成熟，各行业领域实时计算分析的需求愈加强烈。在供给端方面，流计算产品能力快速迭代，流计算开源社区持续火热，Flink是最活跃的Apache 开源项目之一。此外，实时计算公司广受资本青睐，实时计算商业化公司Confluent即将IPO，估值超80亿美元。在应用方面，实时流计算技术已经深入互联网企业各类业务中，涌现出大量实践案例，应用场景包括实时数仓、实时AI、流批一体等，并逐渐向金融、电信、工业等行业渗透。
关键词8：数据湖进入产品化阶段
数据湖能够实现原始数据无转换直接存储，极大提高数据应用效率。目前开源界形成了ICEBERG、HUDI、DELTALAKE三大开源技术流派，共性特点是支持流批处理、数据更新、可扩展源数据、多种存储引擎、多种计算引擎等能力，补齐大数据技术栈之前的短板。经过多年发展，国内企业数据湖产品在2021年逐渐落地，华为云、腾讯云均在今年发布了数据湖产品，阿里云在今年发布了湖仓一体2.0产品，数据湖产品化进展加速。
关键词9：数字孪生在重点行业关注度高
智慧城市、工业互联网将成为“十四五”时期的重头戏，而数字孪生是实现智慧城市、工业互联网最基础的技术手段之一。数字孪生是一系列技术的组合，具备五大关键技术能力：物理与数字世界的互操作性、数据模型的可扩展性、数字表征的实时性、多维度的保真性、数字影响物理的闭环性。当前，数字孪生技术进展迅猛，成为研究和标准化工作的重点。Gartner、IDC等研究机构开始深挖数字孪生的研究价值，ISO/IEC 开启数字孪生相关标准制定工作，中国信通院成立数字孪生技术应用工作委员会，开展数字孪生技术在智慧城市场景与应用的探索。同时阿里云、华为、AWS、微软等各头部企业也开始布局，发布数字孪生行业解决方案。
关键词10：硬件变革推动数据产品更新重构
数据技术产品的设计与研发与底层硬件的架构和能力息息相关。目前，底层硬件正在发生变革，导致数据技术产品也将随之进行重构。一方面，数据技术产品将直接利用硬件实现数据安全和网络解析等功能。另一方面，未来数据技术产品将面向ARM架构实现优化。未来，基于ARM的服务器规模将持续扩大，各类数据技术产品为提高能力将面向ARM实现优化。
分享文章：大数据：不容忽视的十大趋势
本文链接：http://scyanting.com/article/sdippd.html
