数据管理专家—大数据篇

2019年6月26日，天津南大通用数据技术股份有限公司（简称“南大通用”）在北京千禧大酒店召开了主题为“凤凰涅槃、全新启航”的2019年度合作伙伴大会。国家信息中心、海关总署、国家电网、农总行、民航信息中心、华为、神州数码、荣之联、新华三、惟望科技等100多家客户和合作伙伴出席了会议，很多客户参会后收获满满，意犹未尽，希望公司能够提供更多深入的资料分享，因此今天给大家带来大数据产品的深度介绍。
 

在大数据处理领域，南大通用的GBase 8a MPP集群已经部署总节点数>6500个，总数据量>100PB。在金融、电信、政企、安全、JD等关键领域得到广泛应用。用户覆盖17个国家，国内32个省级行政区。
 

本次大会上发布的GBase 8a MPP Cluster V9版（以下简称V9版），是南大通用多年大数据积累产出的明珠，代表了复杂大数据处理的世界级水平，契合了企业对下一代大数据平台ABCD（AI、Big Data、Cloud和嵌入式Device、）等多方面需求。

V9版是支持异构融合数据处理的大规模MPP集群，其核心价值可以概括为4个方面：虚拟集群支持超大规模部署、异构数据融合、数据库内AI和数据安全技术。

虚拟集群支持超大规模部署
 

大规模集群部署通过虚拟集群技术实现了资源隔离和数据共享，并在业内首次实现集群镜像功能，大幅提升了超大规模数据库集群的管理能力，使MPP集群规模突破了1000台，属于业内首创。

虚拟集群技术支持粗粒度的资源划分（节点），可以实现多租户间的资源物理隔离，同时又能提供统一的管理，租户间可以实现数据共享。

概念

虚拟集群是一种资源隔离手段，即将一个大集群进行物理垂直分割，形成多个逻辑子集群，各逻辑子集群可以根据不同业务的存储与计算需求，独立规划与扩展集群规模和计算资源；
 

虚拟集群为所有的逻辑子集群提供统一的访问入口、统一的元数据视图、统一的资源管理、统一的执行调度、统一的认证和权限管理等；
 

虚拟集群提供集群间的数据交互、数据迁移、数据关联能力；
 

虚拟集群支持集群镜像，镜像集群间表级实时同步，实现数据实时双活，实现T+0级高可用。

场景

虚拟集群适用于系统规划建设多套集群，各个集群的业务独立，可以实现各个集群业务的独立管理；

虚拟集群包括数据管理、用户管理和集群版本管理；

虚拟集群的各个逻辑子集群间可实现透明的数据迁移、数据关联和数据共享。

价值
 

虚拟集群适用于包含相对独立的业务领域或不同分析类型的大数据平台、综合性BI系统、数据仓库和集市系统，不同的应用场景运行在独立的逻辑子集群中，对各逻辑子集群统一管理，既解决多物理集群管理、监控、维护的高成本问题，又能满足不同业务场景的差异化特性，实现资源的最大化利用，增强了集群的扩展能力，维护能力。

异构数据融合
 

V9版引入了逻辑数据仓库概念，实现了异构数据融合，逻辑数据仓库的数据不再局限于结构化数据，还包括非结构化数据，如视频、音频、文档等格式。逻辑上是一个大的数据仓库，底层可以包括各类数据源，进行关联处理。无论数据是在本地、云端、某个设备上或任何地方，都可以在数据保留在原地的情况下，将它们关联起来，而无须采集到特定地方，通过关联自动发掘数据、透过机器自动意识识别数据中的价值、认定有价值的数据、分析数据、自动采用适合数据的安全措施、分享数据、优化数据。

V9版本兼具OLTP、OLAP、NoSQL等多种大规模结构化与非结构化数据处理技术，通过数据虚拟化、数据联邦技术建立引擎间高效数据交换通道，融合复杂关联分析、流计算、图计算、批量处理等计算模型，构建对外统一，对内可扩展的大数据平台产品，能够适应不同业务场景，是构建企业大数据平台的重要基础设施。

数据库内AI
 

V9版为用户提供In-Database机器学习算法库GBMLlib，实现了深度数据挖掘能力。

In-Database大数据分析

不需要通过api或odbc把数据从数据库搬移到外部分析节点

各种分析挖掘算法以数据库udf/udaf的形式运行在数据库内部

In-database大数据分析价值

通过数据库执行计划进行调度，充分利用分布式数据库的并行计算资源

最大程度的减少数据的搬移，减少网络和磁盘I/O负担

数据安全技术
 

V9版的数据安全等级进一步提升，实现了面向数据列的加密/解密，用户可以根据数据字段的安全级别进行加密。通过让数据在后台自动加密和解密实现加解密过程透明，加解密负载对整体性能影响小于5%。

动态脱敏技术在不影响实际数据存储的情况下，实现有权限用户看到明文数据，无权限用户只能看到转换后的非明文数据。

GBase 8a MPP已经支撑了金融、电信、政企、安全等数百家高端行业用户的世界级大数据平台，在高强度业务压力的常年磨砺下，产品的功能、性能、稳定性、可靠性和公司研发、技术支持、售后服务团队的能力均已达到世界顶尖水平，我们必将继续全心全意为用户提供最优方案和最佳服务，成为中国用户最信赖的数据管理专家。