您的当前位置:首页 > 方案及案例 > GBASE案例

【GBASE案例】历史数据和增量数据无缝结合神器-实时同步系统 GBase RTSync


南大通用实时同步系统,简称:GBase RTSync,它是一款自主研发的异构及同构数据库增量数据实时同步产品,具备实时性、一致性、精准性、易扩展性和可集成特性,适用于OLTP数据库与OLAP数据库联动向应用系统提供数据管理和数据分析功能的业务场景,可以实现将OLTP数据库的数据实时同步到OLAP数据库,从而使得OLAP数据库具备了实时数据分析的基础,解决数据增量同步问题,能够有效提升数据仓库系统、BI系统和决策支持系统的数据分析效率和及时性。

 

22.jpg

 

GBase RTSync核心组件

 

33.jpg

 

Capture:从数据源获取并解析增量数据逻辑日志,按照特定的协议标准封装后发送给消息队列;

Delivery:从消息队列组件中获取协议数据,并根据目标库的类型,组织和优化数据,将数据写入目标数据库;

MQ:支持Kafka以及Rabbit MQ,两者均可保证高可用;

管理模块:启、停和监控Capture 、 Delivery组件,校验源和目标端数据同步相关配置信息。


GBase RTSync关键技术

基于逻辑日志的解析的增量同步对源库影响小

在线接管,减少源库的非计划停机

分布式架构支持水平扩展

与主流消息中间件兼容Kafka、rabbitMQ

支持高可用模式

 

国网某省份要重点进行人员、财务、物资、客户、资产、项目等10个业务主题域模型的数据整合实施工作。数据整合任务涉及物理模型有 3000+ 个,涉及来源表有 3000+ 张等。本项目模型多、表多、表关系复杂度高,但要求数据整合工作快速准确,增量数据准实时同步到数据仓库中。

GBase RTSync+GBase 8a MPP组合。搭建GBase RTSync前置服务器,对接前端贴源历史库和后端全域模型的数据明细层及轻度汇总层。RTSync完成历史数据导入和源库零停机的增量数据接入,支撑峰值源库1.5TB/日的归档量的增量同步。GBase RTSync + GBase 8a MPP 集群数据库深度优化绑定方案,满足海量数据存储、大规模并行计算、准实时增量流转等功能需求和性能要求。


44.jpg

本项目采用GBase 8a MPP大规模分布式并行数据库集群系统,搭建14节点集群(5个集群节点+9个数据节点)存储整合明细数据和轻度汇总数据。

准实时同步,准确高效:GBase RTSync实现增量抽取、增量加载的数据准实时同步功能,高达秒级同步效率;而且确保同步数据一致;

海量数据,高速初始化:实现高速加载数据,同时提供高压缩比入库从而提升性能,海量存储能力,整合多业务数据,并可根据需求在线动态扩展;

全量初始化,无需停机:新业务新表接入国网全业务统一数据中心的源端数据库不需要停机,也不需要暂停原业务运行,GBase RTSync实现历史数据和增量数据无缝结合,保障源库正常运行下,高效加载至整合数据库中。

 

地址:天津市高新区开华道22号普天创新产业园东塔20-23层 技术支持热线:400-013-9696 邮箱:info@gbase.cn

天津南大通用数据技术股份有限公司 ALL RIGHTS RESERVED. 津ICP备12002153号-7 技术支持:快帮云

扫码关注 官方公众号
扫码关注 官网微博