GBase UP

统一数据平台GBase UP

产品简介

产品简介

南大通用统一数据平台系统,简称:GBase UP,它是融合了GBase 8a MPP、GBase 8s、开源Hadoop生态系统的大数据平台产品,兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库,以及Hadoop生态系统的多种大规模结构化与非结构化数据处理技术,能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景,是构建企业数据平台的重要基础设施。
GBase UP以成熟的GBase 8a MPP商用数据库为基础,扩展出针对Hive & Spark、HBase、GBase 8s的计算和存储引擎,建立引擎之间高效数据交换通道,构建了对外统一,对内可扩展的集群数据库产品。
对于企业而言,GBase UP建立了一个多种数据存储和混搭计算的基础设施,将存储资源和计算资源合理调配,破除数据竖井,通过统一接口完成数据的加工生产,从而创造更多的数据价值;对于信息集成厂商,GBase UP提供了能够处理结构化数据和非结构化数据、关系型和非关系型数据的一站式解决方案。对于最终用户和App开发者而言,GBase UP为用户提供经典的数据库接入方式和结构化查询语言,从而大大降低维护和开发成本。
与数据网关、数据库代理&路由、中间件等方案不同:GBase UP是一款分布式数据库集群产品,对外构建完整的Schema定义和数据库访问控制,能够对用户数据库访问进行解析、优化、数据缓冲等操作,完成透明高效的中间数据存储、关联、聚合等操作,对内构建Gbase 8a MPP、GBase 8s、Hadoop之间的内部数据传输协议,实现高效的数据交换,构建统一的监视和控制系统,进行资源调度。为用户提供高效的、易管理的、总体拥有成本低的产品和服务。
借助GBase UP,企业可以在实施大数据项目时实现四减二增,四减:在项目前期避免陷入MPP数据库和Hadoop生态的选型困难,减少决策成本;在系统业务信息架构阶段,借助统一模式,减少业务建模成本;在应用开发阶段,开发者采用标准的ODBC、JDBC等传统方式访问平台,减少开发成本;在项目交付后,通过统一的监控系统,减少运营成本;二增:破除数据孤岛,打破“竖井”型数据中心间的隔离,实现数据增值;融合MPP和Hadoop各自计算能力,实现计算增值。

产品架构

GBase UP是以GBase 8a MPP最新超大规模集群版本为基础,融合GBase 8s和Hadoop Hive/Spark,实际部署时可以理解为5个小集群/集合,其中:GBaseUP负责连接接入,元数据管理,跨集群查询调度,安全认证,日志记录等一系列分布式数据库的功能;GBase 8a集群(集合)负责高质量高密度高性能的数据存储和计算;Gbase 8s负责支撑高端事务处理;Hive集群负责驱动Hadoop或Spark集群实现对低密度、低质量、结构化/非结构化的大数据进行分析;Hadoop集群的HDFS负责高效高可用的存储海量数据,HBase负责存储海量中小文件,以及作为分布式可扩展的KV型数据仓库。

技术特性

GBase UP继承了GBase 8a MPP的Shared Nothing节点对等的扁平架构,能够运行在普通的X86服务器上,同时还具备以下技术特征:

统一的标准化接入

支持C API、ODBC、JDBC、ADO.NET等接口规范。

统一的标准化查询语言

支持SQL92标准,并在此基础上支持HiveHQL、GBase 8s的SQL扩展,DDL部分支持方言,DML尽可能采用标准SQL。

统一的数据视图

通过统一的元数据管理,将OLTP、OLAP、Hadoop数据库可以看作一个视图,供数据建模工程师构建统一的信息的生产流程。

统一安全

基于GBase 8a MPP的安全体系,扩展对其他引擎的安全认证,避免了多种认证模式,弥补如HIVE等对安全实现不足的短板。

统一事务

支持跨异构集群的事务管理。

统一调度

透明实现跨引擎关联查询。

统一日志

增加保存日志到hadoop的机制,供诸多分析工具访问。

统一监控

监视UP平台的各个服务器的软硬件指标。

高效数据交换

内置引擎之间建立高速多对多的内部通道。

高可扩展性

GBase 8a MPP、GBase 8s、Hive是GBase UP的内置引擎,还可以通过开发对应的扩展插件实现各层的扩展。

数据生命周期管理

根据数据在不同时期的存储和计算特征,实现跨异构引擎的数据分区功能,实现数据透明的跨分区访问和在线迁移。

增强的管理能力

数据通过副本提供冗余保护,自动故障探测和管理,自动同步元数据和业务数据。提供图形化工具,对GBase 8s、GBase 8a MPP和Hadoop生态提供统一的管理工作。

商业价值

易使用
  • 丰富的SQL支持;
  • 利用现有技能同时查询NOSQL大数据和关系型数据;
  • 自动化数据集成。
易维护
  • 统一的用户权限管理;
  • 统一的监控预警;
  • 一键安装部署升级。
统一调度
  • 实现应用和底层各引擎隔离,对上层应用透明,使用户专注于数据价值;
  • 简化应用开发复杂度;
  • 实现了统一数据交换,统一数据集成,统一全数据分析。
全数据
  • 同时存储结构化数据和非结构化数据;
  • 同时具备处理SQL和NoSQL的能力;
  • 支持多种应用场景,支撑统计、自助查询、多维分析、数据挖掘、深度学习、流处理、图计算、批量处理等应用场景。
低成本
  • 大大降低项目实施、应用开发的复杂度和成本;
  • 可利用原有数据资产,与原有数据资产进行融合使用,能够与云平台融合使用。

核心优势

全融合,一套产品集成多种数据源,全类型数据,全处理引擎;
统一调度,高性能;
基于GBase UP核心技术、领先的MPP核心技术进行云分析;
结合多种引擎,根据场景各取所长;
成熟稳定,案例丰富;
节点数>4000个,总数据量>100PB;
标准化,标准访问接口;
支持多种开发语言;
灵活的扩展接口;
国产化,核心产品完全自主;
适配多种国产平台。

适用场景

企业级数据仓库

基于DaaS、GBase UP LDW架构的数据仓库

电信行业数据仓库

金融行业大数据分析的数据仓库