活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

本篇根据 GBase 8a 开发者联盟的直播内容整理而成，更多的技术细节及详细使用还是需要通过官方文档或官方技术支持人员等渠道了解。

# GBase 8a同步原理

## 存储原理

GBase 8a是列存数据库，每张逻辑数据表横向分成多个数据列，每个数据列纵向分成多个存储单位DC（最小IO单元）

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/LVLyHKn76r_kpsGg26T0N/image.png)

- DC：DataCell，存储单元，连续64K行（65536）数据成为一个DC数据包，是IO的基本单位
- DC文件（seg文件）：多个DC组成一个seg文件，默认按照2G大小进行分裂
- 元数据文件：记录每个DC的SCN、所在seg文件、偏移量、记录数等信息

## 分片表同步工具

GBase 8a提供分片间进行分片表同步的同步工具。同步工具与每个GNode节点一起部署。

- 包含sync_client和sync_server两部分
- sync_client与sync_server之间通过网络进行通信和数据传输
- sync_server持续运行（默认5288端口），监听来自sync_client的通信请求
- 由需要同步的节点上的sync_client访问具备有效数据的节点上的sync_server
- sync_server可以同时与多个sync_client进行通信
- sync_client和sync_server可以解析表的元数据文件和数据文件，并对文件进行读写操作

## 分片表同步流程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/iSqlDzlrNdyHVH0dYelFv/image.png)

- sync_client通过5288服务端的端口建立连接
- sync_client发送要同步的分片表
- sync_server定位该表元数据信息
- sync_server返回该表的部分元数据信息
- sync_client本地比对该表的元数据信息
- sync_client发送差异DC List
- sync_server返回差异DC数据
- sync_server返回该表元数据文件
- sync_client覆盖差异DC数据，覆盖元数据信息

## 整表同步流程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/QIe1hhmegcR_dB9_eHcpw/image.png)

GBase 8a是一个分布式集群，一张表可能有若干个分片，所以同步整个表的时候，就会涉及到多个分片表的同步。

## 前置条件

基于上述同步原理，可以看到GBase集群间同步依赖于sync_client+sync_server进行分片表对分片表的同步，因此要求集群两侧sync_client+sync_server版本相同，分片数相同。带来以下集群部署的前置条件：

- 主备集群大版本相同，小版本号在sync_client/server无变动的前提下可以不同
- 主备集群为同构集群，即主备分片数相同。允许主备集群节点数为倍数关系。
- 主备集群之间网络通畅。网络带宽影响同步速度。
- 主备集群的被同步表至少有一组可用分片用于同步。
- 主备集群的安装路径需相同

## 高可用性

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Qh7kpRyApJWW9DmqMxeTy/image.png)

GBase 8a提供高可用性：

- 分片可以选择一主一备或者一主两备，只要有一组可用分片即可进行同步。默认推荐模式下，先同步主分片，主分片同步完成后，备集群内部进行主备分片同步。
- 主分片若同步失败，利用备集群的备分片进行回退；主分片全部同步成功，备分片同步过程中失败，利用datastate上标记，备集群内部异步同步。

# GVR产品介绍

## 简介

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/aF0zoWV8T2qNTLYtl-JYl/image.png)

南大通用可视化集群双活同步工具软件（GBase Visio Rsynctool），是GBase自主研发的、专门适用于GBase 8a MPP Cluster的集群间同步工具。围绕上述的同步原理，打造出的一款集群间同步工具，通过GVR，可以灵活高效的实现集群间的数据同步，并对同步任务进行实时的监控、统计和告警，极大降低集群间同步的运维成本，保障集群灾备场景下两个集群的数据一致性。

## 工具原理

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/gRZk_m1ZrcZ-IWU65WtG6/image.png)

- GVR主要用于下发同步命令，因此只需要集群间数据传输网络有一个较高的要求，整体能提供高性能、高可用、易用、稳定的增量数据同步能力
- 主备之间的数据同步，主要依赖于备集群的sync_client去访问主集群的sync_server来完成一次同步
- 某项目：300实例的大规模集群每天业务数据同步只需4小时
- PB级数据仓库产品中同步效率最高，点对点同步速度可达450MB/s

## 同步功能介绍

- 可配置同步库、表范围
- 可配置同步对象类型，支持表、存储过程、函数、视图的同步
- 可配置同步任务参数，自定义同步模式、同步并行度、是否表覆盖等参数值
- 可配置同步任务定时调度规则，支持按年、月、周、时、秒为周期进行任务启动/停止
- 可自由对同步任务进行暂停、继续、终止操作，灵活控制任务状态。
- 支持任务版本管理。任务历史与任务版本对应。可追溯查看已执行任务的任务配置信息

核心功能主要在自定义同步参数，根据不同的同步需求，自定义配置，满足业务要求。

| 参数名称 | 参数描述 |
| --- | --- |
| 集群同步模式           | 【先同步主分片】模式：先将主分片从主集群同步至备集群表；之后利用同步完成的主分片，在备集群内部进行主备分片同步。推荐使用该模式，绝大多数案例也是使用该模式。【只同步一组分片】和【同时同步主备分片】模式不推荐使用。 |
| 同步回收delete数据空间 | 开启后，如果主库数据表上做了 shrink space 清理 delete 数据空间的操作， 同步该表后，会实现同样的效果，回收备集群数据空间。                                                                                            |
| 数据回读校验           | 开启后，会利用 CRC 技术检查每一个 DC 数据在写入磁盘过程中是否发生错误。该参数会降低同步的性能，同时增加备集群的磁盘 IO 消耗；仅推荐在部署初期为了验证同步的正确性时采用。                                            |
| 备库是否建表           | 指定当主库存在某表，备库不存在该表时是否在备库上自动创建表并进行表同步。                                                                                                                                             |
| 是否进行表覆盖         | 指定当主库存在某表，备库也存在该表，但主备库表表结构不同（通过show create table语句比较）时，是否删除备库上该表，并按照主库表结构重新建表再进行表同步。                                                              |
| 是否删除备库多余表 | 指定当主库不存在某表，但备库存在该表时，是否将备库上的该表自动删除掉。                                                              |
| 是否进行预同步     | 指定是否在实际执行同步任务前进行预同步操作（适合100+节点规模集群，1w+表数量以上）                                                   |
| 表同步并行度       | 指定同一时间内并行同步表的数量，会影响总体同步时间、集群同步压力（磁盘、网络）、GVR服务器压力                                       |
| 是否启用IP映射     | 指定是否开启IP映射（适用于主备集群数据节点间网络不直接互通，需要进行业务网段映射的情况），开启后需要上传CSV格式的映射文件           |
| 同步带宽限速       | 对主备集群间同步主分片时的网络总带宽进行限速，防止影响其它业务。（9.5.3.27.21、9.5.3.28）                                           |
| 是否开启元数据快照 | 开启后支持被同步表的DML并发，可明显提升主库有dml业务频繁访问下的同步速度。需要集群版本支持（9.5.3.27.21、9.5.2.47、9.5.3.28/29/30） |
| 分区表增量分区同步 | 对于分区表，支持在常见增减分区规则下的分区DDL自动变更以实现分区增量同步                                                             |

## 同步期间的业务限制

在主备集群同步过程中，会对正在被同步的表进行上表级锁，进而影响集群的正常业务访问。
在同步过程中，只会对正在被同步的表进行上表级锁，同步完成后即释放锁。例如有1w张表需要同步，在某时刻有10张表正在被同步，就只会对这10张表上锁。

1. 主集群上锁情况：
   
   - DML锁，包含执行E锁。上锁后DDL、DML操作会被堵塞。
   - 在9.5.2.47、9.5.3.27.21、9.5.3.28及后续版本集群中，支持设置开启元数据快照功能，开启该功能后，在同步期间可进行 DML业务并发，支持并发的DML范围为：INSERT、DELETE、LOAD、开启fast_update后的update。
2. 备集群上锁情况：
   
   - 上DML锁，包含执行E锁。上锁后DDL、DML操作会被堵塞。

## 元数据快照优化

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/CjQGgrsjj3LsXUmjOjCg7/image.png)

- 问题简述：在主备集群同步过程中，会对主集群锁表，进而阻塞主集群执行DML操作。在业务场景中要求主备集群在5分钟内准实时同步，主集群不影响读写。
- 改善策略：在集群同步过程中对同步表上写锁后，该同步表的元数据打快照，之后释放该表的写锁，若出现dml操作可立即完成该表的DML操作，上锁时间由原来的分钟级甚至是小时级（由同步数据量决定），缩短至现在的毫秒级。开启优化后，在同步过程中主集群可正常读写。对于当前同步过程中的DML改动会放到下一次同步过程中。

## 其余功能介绍

- 数据校验：
  
  - 支持基于表SCN号的对比原理，进行主备两侧数据校验
  - 支持基于表名进行快速对比，防止备集群漏库漏表
  - 支持展示任务执行信息及执行日志
  - 支持记录和展示主备集群两侧一致/不一致的表范围
  - 支持同步后自动校验一次
- 可视化管控：
  
  - 监控任务执行进度、任务执行状态、任务执行结果；实时掌握同步任务执行情况。
  - 支持查看执行详情，查看和筛选同步成功/失败的数据库对象信息，并查看失败表的错误码
  - 支持配置日志级别，并可视化查看同步任务日志，协助获取同步失败原因并解决。
  - 对同步任务状态、执行时长、失败数量进行告警，并支持通过SNMP协议转发告警消息。
- 平台基础能力：
  
  - 通过用户管理和角色管理构建权限管理体系，用户只能拥有被赋予的功能权限。
  - 监控和展示在线用户信息，并支持强制退出在线用户登录
  - 监控记录登录日志和操作日志，详细记录操作时间、操作人员、操作功能、操作状态等详细信息用于审计。

## GVR亮点特性

- 轻量级解压即用，运行负载低，不引入开源中间件，部署成本和运维成本低
- 支持REST接口调用
- 资源库高可用（可兼容信创数据库），保证数据不丢失。默认使用SQLite，不提供高可用性
- 支持断点续传，服务器宕机后自动重启，重启后GVR自动继续因宕机没执行完成的同步任务
- 信创兼容，支持在信创环境下稳定运行

# 应用场景

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/S5iKR371_EYdXIT-nNdkF/image.png)

业内首个支持PB级别跨中心高可用的MPP数据库。主要适用于以下场景：

- 同城/跨域双活
- 多集群间数据分发
- 建设读写分离集群
- 机房搬迁，新老集群数据迁移

## T+1异步一致性同步方案

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/ZnEUcqjJDr3CPOWAxnQ8Z/image.png)

- 定期调用同步工具完成主备集群同步
  
  - 机房1与机房2分别部署一套逻辑节点数一致的完整集群，Hash Map一致；
  - 应用连接机房1集群完成DML操作，将已完成的作业信息或要同步的表记录至同步队列中；
  - 何时同步及同步哪些表由“同步队列处理”应用保证，每天定时同步或定期轮询同步；
- 适用场景：同步要求时效性不高，有时间窗口用于同步或可暂停写入任务
  
  - 机房1集群整体异常时，需通过同步队列与当前作业状态计算其切换恢复状态；
  - RPO指标为0（批量加工业务可重跑），RTO指标批量业务重跑的时间。

## 作业级准实时一致性同步方案

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/wMsT6DA0EQ1M8Yw0XOgDL/image.png)

- 作业级一致性同步，应用层完成一个任务后，调用同步工具完成表的主备集群同步后，整体任务才算完成；
  
  - 机房1与机房2分别部署一套逻辑节点数一致的完整集群，Hash Map一致；
  - 应用连接机房1集群完成DML操作，作业的最后一步将本作业影响的目标表增量数据同步至机房2集群，同步不成功则认为该作业加工失败；
  - 查询可连接机房2集群，实现读写分离。
- 适用场景：同步时效性要求较高，可以进行业务改造在作业调度中增加同步过程
  
  - 机房1或机房2任一集群整体故障，均可通过调整应用层指向的集群进行切换；
  - RPO指标从作业级看为0，RTO指标约几分钟~半小时。

# 灾备切换

## 主动

如机房搬迁业务等，需要手动进行主备切换。

**切换实施：**

- 前：
  - GVR服务及主集群（M）和备集群（S）所有节点状态正常，网络环境畅通
  - 关闭定时调度策略。确保集群上没有同步任务和业务运行，数据处于静止状态
- 中：
  - 执行全库同步和数据校验，检查同步和校验任务运行结果，确保集群数据一致
  - 在M上运行一次作业得到作业结果，用于与S集群的作业结果对比进行验证（可选）
  - 通知业务侧切换访问8a集群的连接IP到S集群
  - 运行一次作业，得到作业结果，与M集群的作业结果对比进行验证（可选）
  - 完成切换。正常使用S集群提供服务
- 后：
  - 配置S->M的同步任务、定时调度策略，进行主备切换后的增量同步

## 被动

主集群发生故障灯，被动进行主备切换。

**切换实施：**

- 前：
  - GVR服务及主集群（M）和备集群（S）所有节点状态正常，网络环境畅通
  - 关闭定时调度策略。确保集群上没有同步任务和业务运行，数据处于静止状态
  - 确定距离当前最近一次的同步任务运行情况、同步范围，以及最近一次同步任务执行后M集群的业务作业情况，目的是确定当前S集群的数据状态，锁定切换后需要重新运行的作业LIST
- 中：
  - 通知业务侧切换访问8a集群的连接IP到S集群
  - 在S集群上运行梳理出的任务LIST
  - 完成切换。正常使用S集群提供服务
- 后：
  - 及时修复M集群故障，使M集群正常上线
  - 配置S->M的同步任务、定时调度策略，进行主备切换后的增量同步

# 案例

某国有大行客户2016年完成双活集群的正式投产，目前对主仓、重要集市建设40+套双活集群，实现大规模数仓“热备”等级灾备建设，在主集群异常时能够切换备集群为应用提供服务

- 基于GBase 8a集群内副本分片间的一致性同步功能，实现两个集群间的增量数据一致性同步功能。
- 最早双活上线集群规模为56节点，当前最大的双活集群主备各300实例（每日增量几十TB）；
- 2023年底，逐步升级GVR，灾备功能升级、易用性、可运维性提升，目前累计已上线40+套GVR





运维管理

GBase 8a双活容灾方案

GBase 8a双活容灾方案

评论

热门帖子