GBase UP
统一数据平台GBase UP
产品简介
产品简介
南大通用统一数据平台系统，简称：GBase UP，它是融合了GBase 8a MPP、GBase 8s、开源Hadoop生态系统的大数据平台产品，兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库，以及Hadoop生态系统的多种大规模结构化与非结构化数据处理技术，能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景，是构建企业数据平台的重要基础设施。
GBase UP以成熟的GBase 8a MPP商用数据库为基础，扩展出针对Hive & Spark、HBase、GBase 8s的计算和存储引擎，建立引擎之间高效数据交换通道，构建了对外统一，对内可扩展的集群数据库产品。
对于企业而言，GBase UP建立了一个多种数据存储和混搭计算的基础设施，将存储资源和计算资源合理调配，破除数据竖井，通过统一接口完成数据的加工生产，从而创造更多的数据价值；对于信息集成厂商，GBase UP提供了能够处理结构化数据和非结构化数据、关系型和非关系型数据的一站式解决方案。对于最终用户和App开发者而言，GBase UP为用户提供经典的数据库接入方式和结构化查询语言，从而大大降低维护和开发成本。
与数据网关、数据库代理&路由、中间件等方案不同：GBase UP是一款分布式数据库集群产品，对外构建完整的Schema定义和数据库访问控制，能够对用户数据库访问进行解析、优化、数据缓冲等操作，完成透明高效的中间数据存储、关联、聚合等操作，对内构建Gbase 8a MPP、GBase 8s、Hadoop之间的内部数据传输协议，实现高效的数据交换，构建统一的监视和控制系统，进行资源调度。为用户提供高效的、易管理的、总体拥有成本低的产品和服务。
借助GBase UP，企业可以在实施大数据项目时实现四减二增，四减：在项目前期避免陷入MPP数据库和Hadoop生态的选型困难，减少决策成本；在系统业务信息架构阶段，借助统一模式，减少业务建模成本；在应用开发阶段，开发者采用标准的ODBC、JDBC等传统方式访问平台，减少开发成本；在项目交付后，通过统一的监控系统，减少运营成本；二增：破除数据孤岛，打破“竖井”型数据中心间的隔离，实现数据增值；融合MPP和Hadoop各自计算能力，实现计算增值。
产品架构
GBase UP是以GBase 8a MPP最新超大规模集群版本为基础，融合GBase 8s和Hadoop Hive/Spark，实际部署时可以理解为5个小集群/集合，其中：GBaseUP负责连接接入，元数据管理，跨集群查询调度，安全认证，日志记录等一系列分布式数据库的功能；GBase 8a集群（集合）负责高质量高密度高性能的数据存储和计算；Gbase 8s负责支撑高端事务处理；Hive集群负责驱动Hadoop或Spark集群实现对低密度、低质量、结构化/非结构化的大数据进行分析；Hadoop集群的HDFS负责高效高可用的存储海量数据，HBase负责存储海量中小文件，以及作为分布式可扩展的KV型数据仓库。
技术特性
GBase UP继承了GBase 8a MPP的Shared Nothing节点对等的扁平架构，能够运行在普通的X86服务器上，同时还具备以下技术特征：
统一的标准化接入
支持C API、ODBC、JDBC、ADO.NET等接口规范。
统一的标准化查询语言
支持SQL92标准，并在此基础上支持HiveHQL、GBase 8s的SQL扩展，DDL部分支持方言，DML尽可能采用标准SQL。
统一的数据视图
通过统一的元数据管理，将OLTP、OLAP、Hadoop数据库可以看作一个视图，供数据建模工程师构建统一的信息的生产流程。
统一安全
基于GBase 8a MPP的安全体系，扩展对其他引擎的安全认证，避免了多种认证模式，弥补如HIVE等对安全实现不足的短板。
统一事务
支持跨异构集群的事务管理。
统一调度
透明实现跨引擎关联查询。
统一日志
增加保存日志到hadoop的机制，供诸多分析工具访问。
统一监控
监视UP平台的各个服务器的软硬件指标。
高效数据交换
内置引擎之间建立高速多对多的内部通道。
高可扩展性
GBase 8a MPP、GBase 8s、Hive是GBase UP的内置引擎，还可以通过开发对应的扩展插件实现各层的扩展。
数据生命周期管理
根据数据在不同时期的存储和计算特征，实现跨异构引擎的数据分区功能，实现数据透明的跨分区访问和在线迁移。
增强的管理能力
数据通过副本提供冗余保护，自动故障探测和管理，自动同步元数据和业务数据。提供图形化工具，对GBase 8s、GBase 8a MPP和Hadoop生态提供统一的管理工作。
商业价值
易使用
- 丰富的SQL支持；
- 利用现有技能同时查询NOSQL大数据和关系型数据；
- 自动化数据集成。
易维护
- 统一的用户权限管理；
- 统一的监控预警；
- 一键安装部署升级。
统一调度
- 实现应用和底层各引擎隔离，对上层应用透明，使用户专注于数据价值；
- 简化应用开发复杂度；
- 实现了统一数据交换，统一数据集成，统一全数据分析。
全数据
- 同时存储结构化数据和非结构化数据；
- 同时具备处理SQL和NoSQL的能力；
- 支持多种应用场景，支撑统计、自助查询、多维分析、数据挖掘、深度学习、流处理、图计算、批量处理等应用场景。
低成本
- 大大降低项目实施、应用开发的复杂度和成本；
- 可利用原有数据资产，与原有数据资产进行融合使用，能够与云平台融合使用。
核心优势
全融合，一套产品集成多种数据源，全类型数据，全处理引擎；
统一调度，高性能；
基于GBase UP核心技术、领先的MPP核心技术进行云分析；
结合多种引擎，根据场景各取所长；
成熟稳定，案例丰富；
节点数>4000个，总数据量>100PB；
标准化，标准访问接口；
支持多种开发语言；
灵活的扩展接口；
国产化，核心产品完全自主；
适配多种国产平台。
适用场景
企业级数据仓库
基于DaaS、GBase UP LDW架构的数据仓库
电信行业数据仓库
金融行业大数据分析的数据仓库