【GBASE案例】历史数据和增量数据无缝结合神器-实时同步系统 GBase RTSync
项目价值
本项目采用GBase 8a MPP大规模分布式并行数据库集群系统，搭建14节点集群（5个集群节点+9个数据节点）存储整合明细数据和轻度汇总数据。
● 准实时同步，准确高效：GBase RTSync实现增量抽取、增量加载的数据准实时同步功能，高达秒级同步效率；而且确保同步数据一致；
● 海量数据，高速初始化：实现高速加载数据，同时提供高压缩比入库从而提升性能，海量存储能力，整合多业务数据，并可根据需求在线动态扩展；
● 全量初始化，无需停机：新业务新表接入国网全业务统一数据中心的源端数据库不需要停机，也不需要暂停原业务运行，GBase RTSync实现历史数据和增量数据无缝结合，保障源库正常运行下，高效加载至整合数据库中。
项目方案
GBase RTSync+GBase 8a MPP组合。搭建GBase RTSync前置服务器，对接前端贴源历史库和后端全域模型的数据明细层及轻度汇总层。RTSync完成历史数据导入和源库零停机的增量数据接入，支撑峰值源库1.5TB/日的归档量的增量同步。GBase RTSync + GBase 8a MPP 集群数据库深度优化绑定方案，满足海量数据存储、大规模并行计算、准实时增量流转等功能需求和性能要求。
产品介绍
南大通用实时同步系统，简称：GBase RTSync，它是一款自主研发的异构及同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展性和可集成特性，适用于OLTP数据库与OLAP数据库联动向应用系统提供数据管理和数据分析功能的业务场景，可以实现将OLTP数据库的数据实时同步到OLAP数据库，从而使得OLAP数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据仓库系统、BI系统和决策支持系统的数据分析效率和及时性。
GBase RTSync核心组件
● Capture：从数据源获取并解析增量数据逻辑日志，按照特定的协议标准封装后发送给消息队列；
● Delivery：从消息队列组件中获取协议数据，并根据目标库的类型，组织和优化数据，将数据写入目标数据库；
● MQ：支持Kafka以及Rabbit MQ，两者均可保证高可用；
● 管理模块：启、停和监控Capture 、 Delivery组件，校验源和目标端数据同步相关配置信息。
GBase RTSync关键技术
● 基于逻辑日志的解析的增量同步对源库影响小
● 在线接管，减少源库的非计划停机
● 分布式架构支持水平扩展
● 与主流消息中间件兼容Kafka、rabbitMQ
● 支持高可用模式
项目需求
国网某省份要重点进行人员、财务、物资、客户、资产、项目等10个业务主题域模型的数据整合实施工作。数据整合任务涉及物理模型有 3000+ 个，涉及来源表有 3000+ 张等。本项目模型多、表多、表关系复杂度高，但要求数据整合工作快速准确，增量数据准实时同步到数据仓库中。