活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 什么是ER

Enterprise Replication（ER）是一种数据实时交换共享集群，它基于日志的数据复制技术，以事务为单位实现 GBase 8s 数据库服务器之间的数据共享。

## 特征

- **无侵入捕获：** 直接读取数据库逻辑日志
- **闭环流控：** 四阶段保障数据一致，日志捕获→事务传输→持久化→ACK确认
- **粒度自由：** 库/表/行/列四级复制

# ER能做什么

ER支持多种数据复制模型，如下图所示：
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/h7YR422bW4Nu_ZhPv8NmX/image.png)

- 数据分发模型：中心数据发布到多节点（OLTP系统），数据更改发生在中心数据库，同步到各节点数据库，单向复制
- 数据合并模型：多源数据合并到中央数仓（经营分析），数据更改发生在多个源端数据库，数据变更统一同步到中央数据库，单向复制
- 工作流复制模型：订单链式传递（生产系统协同），各节点数据按照顺序依次进行传递
- 处处更新模型：全局同步+冲突治理，实现真正的多主架构，任意节点均可发生更改，且可同步到集群中的任意节点中去

# ER架构实现原理

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/4LS0jREFFbG4RdGzu590H/image.png)

源端数据库进行事务捕获，在目标端数据库进行事务应用。

- **事务捕获**
  1. 客户端应用程序定义数据库中执行的事务
  2. 该事务被写入逻辑日志
  3. 日志捕捉组件读取逻辑日志并将逻辑记录传递到分组组件
  4. 分组组件计算需要复制的逻辑日志，并将它们分组到描述原始事务的操作的消息中
  5. 分组组件将消息添加到发送队列
- **网络传输**
  1. 发送队列通过 Enterprise Replication 网络将复制消息传输到目标服务器
  2. 复制消息被添加到目标服务器的接收队列中
  3. 如果遇到意外情况，如网络出现异常或目标数据库离线，这种情况下发送队列会将发送消息暂时存储到磁盘上
- **事务应用**
  1. 数据同步组件将该事务应用到目标数据库。如果有必要的话，数据同步组件还会执行冲突解决
  2. 在确认队列中放置一条表示消息已成功应用的消息
  3. 将确认消息发送回到源服务器

# ER的核心优势

- **异步数据复制（Asynchronous Data Replication）：**  主节点提交本地事务后再异步发送变更信息，无需等待从节点确认，适配跨地域或网络状态不佳的情况下部署，故障后可自动追赶同步保障数据最终一致。
- **基于日志的数据捕获（Log-Based Data Capture）：**  直接从事务日志提取数据变更信息，低侵入且高可靠，还支持细粒度同步。
- **高可用性（High Availability）：**  ER集群依托多节点冗余、秒级故障自动切换，最大限度减少停机时间保障业务连续性。
- **灵活的体系架构（Flexible Architecture）：**  ER集群支持多种拓扑模式、动态平滑扩容及跨平台部署，可灵活适配不同规模与场景的业务需求
- **网络加密（Network Encryption）：**  ER集群支持TLS/SSL加密传输协议，可保障节点间数据传输安全，适配合规要求且不明显影响性能。
- **同步模式可选：**  支持三种同步模式，毫秒延迟的实时同步(金融交易)，分钟级的间隔同步(运营报表)和按计划执行的定时同步(历史归档)，适配更多业务场景

# ER配置

## 要求

- **启动日志的数据库：** 因为ER是基于逻辑日志的复制，需要启用日志记录，但可以是任何形式的日志记录，如ANSI、缓冲日志、非缓冲日志。如果想要避免数据复制的延迟，应该使用非缓冲日志的数据库。
- **服务器之间的可信通信：** 通过TCP/IP进行通信，需要配置可信，使用 dbaccess &gt; connection &gt; connect 但是不提供用户名/密码，从而确定连接是可信的。
- **主键约束：** 参与复制的表必须有主键约束，用于ER在内部使用主键提高性能以及解决冲突问题，对于确实没有主键的，erkey创建虚拟主键。
- **SQLHOSTS文件：** sqlhosts 文件必须使用组语法。每个组必须有一个唯一的组名和 id 号。这里 “唯一” 的意思是，组名和 id 必须对于这个 ER 环境中的任何其他服务器都是唯一的。例如：
  ![image.png](https://g1.cdn.gbase.cn/CommunityUploads/h1hZ0QFNwy7A5rlZ2tcqR/image.png)
- **修改onconfig文件：** 调整关键参数，即设定如果出现问题发送队列将发送消息临时存到磁盘的位置
  
  - CDR_QHDR_DBSPACE：为来自队列的假脱机事务头信息（元数据信息）指定 dbspace（默认值与编目相同）；以轮循方式使用多个 dbspace。通用表空间即可。
  - CDR_QDATA_SBSPACE：要求业务数据存储到智能大对象空间中去，设置为行数据 sbspace 的位置，建议独立出来。如果没有在 ONCONFIG 中设置这个参数，或者 sbspace 名称是无效的，那么 Enterprise Replication 就无法定义服务器。以轮循方式使用多个 sbspace。建议为一些空间启用日志记录，一些不启用。ER 对于小事务使用启用日志的 sbspace，对于大事务使用禁用日志的空间。
- **操作系统时间同步：** 要求900秒以内，也就是15分钟。服务器之间时间超过15分钟会创建失败。

## 配置步骤（命令行模式）

### 服务器定义，确定网络拓扑

使用命令行界面是定义 ER 环境的最快方法。至少需要运行两个命令。

```
cdr define server  -I g_beijing  # 定义初始服务器
cdr define server -c g_guangzhou  -I g_guangzhou -S g_beijing  # 定义任意数量的服务器，但是必须使用 -S 或 --sync 选项将新服务器与已经定义的服务器之一连接起来。
```

### 定义复制

通过 cdr define repl 命令定义复制， 将每一台参与复制的复制服务器定义为参与者，确定信息流的方向、内容、冲突解决方案、同步模式。

- 信息流方向
  
  - S  只发送
  - R 只接收
  - 缺省 发送+接收
- 信息流内容
  通过select 语句以及可选的where 子句，实现多层次的复制粒度控制。建议最小化原则，只复制必要数据！通过行/列过滤+条件索引，降低网络负载
  
  | 粒度级别 | 网络负载 | 目标灵活性 | 典型应用场景           |
| ---------- | ---------- | ------------ | ------------------------ |
| 数据库级 | 高       | 低         | 灾备、测试环境         |
| 表级     | 中       | 中         | 业务表同步             |
| 行级     | 低       | 高         | 数据分区、历史数据归档 |
| 列级     | 低       | 高         | 敏感数据保护           |
  
  

### 冲突解决方案

建议在方案规划阶段，就考虑冲突问题并解决，如果无法进行冲突的规避，ER 在目标端数据库应用数据时，会进行检查以确保不存在冲突。如果两台数据库服务器同时更新相同的数据，就会发生冲突。ER 一次复查一行数据以检测冲突。如果发现冲突，则必须在将数据写入数据库之前解决此冲突。GBase 8s 提供一系列的解决冲突的方案。

例如：在目标端应用 INSERT  id=2 的行时发现目标端 id=2 的行已存在

| 方案 | 场景 | 动作 |
| --- | --- | --- | 
| 忽略            | 保证目标端数据稳定，不尝试解决冲突  | 无操作，保持目标端数据       |
| 始终应用        | 强同步源端状态，不尝试解决冲突 | insert变更为update，与源端一致 |
| 时间戳          | 应用时间戳最新的行或事务                      | 无操作 或 insert变更为update   |
| SPL例程         | 业务逻辑裁决，通过存储过程编写的例程来确定使用哪些数据      | -                            |
| 时间戳和SPL例程 | 先通过时间戳解决，如果时间戳相同，通过SPL解决 | -                            |

### 同步模式

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/OTLu1s__9Axs45uQIXZcm/image.png)

示例：erdb库t1表所有记录进行复制，g80只接收，g90和g100的变化全同步

```
cdr define replicate -C timestamp  -e 60 repl_t1 # -C指定冲突解决方案为时间戳，-e指定同步模式为间隔同步，间隔时间60分钟，以下定义三条参与者，参与的组为g80、g90、g100
 "R erdb@g80:gbasedbt.t1" "select * from t1"  # R定义g80只接收
"erdb@g90:gbasedbt.t1" "select * from t1" # 缺省双向
"erdb@g100:gbasedbt.t1" "select * from t1" #缺省双向
```

### 简单示例

[南大通用 GBase 8s 企业复制 ER 搭建部署介绍](https://www.gbase.cn/community/post/4201)

更细节的配置可参考视频示例，或直接根据手册，也可使用GEM工具可视化部署
[【GBASE 那些事儿 2024 年第十八期】GBase 8s 数据实时交换共享集群 ER\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1DhqBYdE9Z/?vd_source=601f4ee47a329751552e39cdfcfc0956)

# 行业解决方案

## 政务行业

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/LaFYsGnT94ACbc3_vNXWx/image.png)

### 应用场景

部委与省之间需要做部分表数据的实时同步的业务场景。例如，民政部的婚姻登记系统，各省的婚姻登记信息需要实时回传给部里，部里接收之后需要同步给其他省份，防止重复登记。

### 部署方式

- 部委部署SSC集群
- 省前置部署GBase 8s单机

### 技术特点

- 省前置和部委之间可以实现实时数据同步，延时在1秒内
- 当前置库故障重启或网络异常恢复之后，部委的数据会自动推送到前置，无需人工干预
- 支持异常处理，如部委对一行数据做update，省前置没有该行数据，ER既支持在前置库update空行，也支持在前置库插入update后的数据行

## 金融行业

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/y4tKCr040gpR51V5pfQm1/image.png)

### 应用场景

集群之间有若干表的数据需要进行双向同步，实现双中心双活的金融级高可用。

### 部署方式

两个中心均部署SSC集群

### 技术特点

- 当一个集群发生故障切换的时候，ER不需要手工干预，自动漂移到新主节点继续进行表复制
- 性能压测：写事务TPS&lt;= 3000的时候，中心之间数据同步零延时；读事务可以在所有节点配置负载均衡，整体QPS&gt;=10万

## 交通行业

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/_TmkszVaRGVtSrHF0snX8/image.png)

### 应用场景

在高速公路的ETC收费业务场景中，车辆信息需要在各ETC收费站和信息中心之间进行实时同步，以便实时计费。

### 部署方式

- 高速信息中心采用共享存储集群部署
- 车站采用HAC集群部署和单机部署

### 技术特点

- 通过数据库内部的ER技术实现了数据的实时交换和共享，免去是同步工具的维护和运维的工作量
- ER技术可以数据库HAC集群、SSC集群完美结合

# 参考视频

[【GBASE 那些事儿 2025】GBase 8s 实时交换共享集群\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1sUBeBwEAx/?vd_source=601f4ee47a329751552e39cdfcfc0956)



运维管理

GBase 8s实时共享交换集群介绍

GBase 8s实时共享交换集群介绍

评论

热门帖子