浪潮云海Insight三剑客护航“大数据+”时代
天下武功唯快不破，然“大数据＋”时代的开启，让很多成名已久的“武林高手”扼腕叹息，结构化数据包打天下的时代已经成为历史！从IT到DT意味着什么？意味着需要顿悟新的功法，应对更残酷的江湖竞争！
继云计算之后，大数据迅速跻身IT江湖热门功法排行榜。云和大数据好比硬币的两面，云计算是大数据处理的依托平台，大数据则是云计算最典型的应用，正引发全球范围内深刻的技术和商业变革。在这个广阔的市场空间，浪潮怎会缺席？
时势造英雄：结构化数据“之退”与非结构化数据“之进”
传统数据处理方式，以结构化数据为主，数据增长缓慢、系统都比较孤立，用传统关系型数据库来管理这些数据基本可以满足各类应用开发。但是在大数据时代，数据来源更加丰富，很多数据通过设备、服务器、应用自动产生的，这些数据以非结构、半结构化为主，增长速度快，价值密度低。所谓的 “大数据生态”，数据类型多样、计算场景复杂，传统数据库对这类需求和应用在架构和功能上几乎束手无策，需要不同的技术手段支撑，这样其实就给类似 Hadoop、MPP、内存数据库等架构体系提供了很好的发展机会和空间。大数据生态除了传统关系数据库之外，还需要MPP、 NewSQL、NoSQL、流式计算、实时计算、内存计算等多种存储和计算手段。
浪潮近期同步推出云海Insight三剑客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵盖了当前主流的分布式数据存储和计算组件，能支持结构化、非结构化、半结构化等几乎全部数据类型的处理。帮助企业方便快捷地架起完整的大数据处理平台，以期帮助用户构建海量数据的“极速”处理能力，应对大数据的复杂应用场景。对各类数据进行整理、交叉分析、比对碰撞、内容检索、深度挖掘、特征提取等，对用户提供自助的实时、近时、迭代的响应能力等。
电视剧《欢乐颂》热播，通过大数据技术，对网络直播平台的收视点击情况和网友互动评论情况进行分析，可以知道哪 个女主最受男性欢迎。这在传统的收视统计中，是需要收视仪定点采样、人员专门统计等一些列手段，花费大量工作量才能完成的。作为新兴技术技术，大数据的发 展已经从概念到大规模落地，正在为各行业带来一些新奇的变化。
1、分布式计算引擎HD
lHD适合PB级以上的海量数据离线处理，可在大数据应用建设中轻松构建基础资源库。
l它采用Hadoop 架构，融合了业界最新 Spark 实时计算架构，让二者优势互补。可以扩展到数千个节点的集群规模，设计了高度兼容SQL语句的解析引擎，提供可视化运维、统一用户、证书认证滚动升级能力，让用户使用 Hadoop 像使用数据库一样简单。
lHD具备企业级、高安全性、易运维、强兼容性等诸多特点。
2、分布式数据仓库MPP
lMPP是处理TB-PB级的结构化数据的数据仓库和数据集市的最优选择。
l它采用sharenothing架构，性能和扩展性优于传统的oracle数据库（oracle RAC share disk架构）和SQL server数据库（share everything）。
lMPP是基于MPP架构的分布式关系型数据库，其SQL 查询性能比传统的关系型数据库提升 10～100 倍；支持千节点内的稳定运行，可在BI领域替换传统架构。
l总体来说，分布式数据仓库MPP具备开放弹性架构、在线线性扩展、拥有成本可控、海量并行处理、优秀混合负载、平台持续可用、易于管理维护等特点，具体如下图所示。
3、内存数据库MemDB
lMemDB适合TB数量级以下规模超高并发访问的OLTP 和OLAP实时计算和加速场景。
l它基于内存的无共享分布式架构，支持Key-Value、及SQL关系型存储，具备跨地区集群能力；MemDB同时支持分布式事务和毫秒级响应，善于进行实时数据处理。
l内存数据库MemDB具备在线可扩展、计算高性能、数据高可靠、跨地域分布等特点，具体如下图所示。
大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。这句话道出了大数据的本质，随着大数据在不同行业、不同业务领域的渗透，对海量数据的挖掘和运用已经成为推动行业发展的重要因素。
面对如此海量的数据，如何高效地处理、运营这些数据，是首先需要解决的问题，自然必须借助高效的工具。云海 Insight的三个子产品，即可以分别对应不同的大数据应用场景也可以组合解决复杂的大数据应用场景，真正帮助用户以数据事实为依据，以数据分析为导 向，让整个行业转向数据化运营的高速轨道上来。
三剑客各司其职，适合的就是对的！
据统计显示，全球数据量从2010年到2020年将增长50倍，达到前所未有的40ZB。40ZB是什么概念？ 相当于全世界沙粒数量的40倍。中国数据量的增速远远高于全球总体水平，2012年的数据量为364EB，占全球总数的13%，2020年将达到 8600EB，所占比例将达21%。不过我国大数据中有价值的信息只能占到33%，真正能够发挥价值的数据只占5‰左右。
面对庞大的数据量，用户将面临存储系统成本高、存不起，传统可扩展性差、扩不了，大量非结构化、半结构化的数据 用传统计算方式算不出等问题和挑战！随着业务的复杂性、多样性及数据量的急剧增长，加上各种业务数据处理时间要求不一致，仅靠单一的产品无法满足所有业务 需求，浪潮云海Insight大数据处理平台上的三剑客云海Insight HD、云海Insight MPP、云海Insight MemDB各司其职，分别使用不同的场景，对于要求苛刻的您来说，选择适合自己的就是对的。
分布式计算引擎HD通常面向海量数据存储、分析的应用建设，目前已广泛用于公安（科信－警务云／技侦－4G数据汇集／交管－六合一 平台）、税务（金三二阶段）、网安（网综及应用）、通信（数据管理中心）、交通（高速－车辆轨迹）等行业的大数据应用建设中。此外，年度季度数据统计分析 等海量非实时的业务处理场景，也很适用。
分布式数据仓库MPP则广泛应用于公安（指挥决策）、税务（大屏／电子税务局）、能源（经营分析）等行业的数据集市、指挥决策、统计分析类系统中。它适用于中等规模数量级别的大数据处理，可在BI领域代替传统架构。
内存数据库MemDB主要适用于数据计算、数据写入、数据同步类场景，适配快速实时性数据处理，数据量级稍小，类似于网上订票、余票查询这种高实时性要求的业务。
整体来看，云海Insight可提供数据采集预处理、数据缓冲沉淀、分析数据集市、实时数据分析和数据可视化展现的多种业 务处理能力，提供了SQL、API、命令行、可视化界面多种操作方式，可轻松实现多类型访问接口。云海Insight支持标准化的x86平台，支持融合架 构的大数据一体机，也可以以内置服务的形式无缝集成进云海IOP-PaaS平台。
DT时代的大数据生态
近年来，浪潮坚持寻求突破，在智慧城市、公安、烟草、交通、医疗、旅游等多个行业成功积累了云和大数据落地经验。全域公共免费WIFI城市、云上集聚的大数据公共平台、政府数据开放示范城市、大数据交易所……这些都是浪潮对大数据的生动诠释。
在大数据应用的基础设施层面，浪潮云海Insight大数据产品套件与云海IOP平台、云海大数据一体机一起，共同为行业用户提供底层平台支撑。致力于进行大数据应用开发的合作伙伴，可以专注利用云海Insight开发出自己的应用，而无须关注底层实现。
可以看到，从IT走向DT时代并不复杂，只要找到合适的工具，分分钟进入DT时代。当然未来也不再是孤胆英雄、单打独斗的时代，生态系统比任何时候都重要，浪潮期待与更多合作伙伴共同携手，提供更加丰富的大数据应用。
本文题目：浪潮云海Insight三剑客护航“大数据+”时代
文章转载：http://scyanting.com/article/soojei.html
