活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 为什么需要高可用

- 保证业务连续性
- 提升用户体验
- 维护企业信誉
- 应对突发风险
- 适应动态需求

# 什么是高可用

数据库高可用（High Availabiltity,HA）指的是系统在预设时间内持续提供服务的能力，核心目标是降低停机时间。

## 高可用关键指标

| 指标 | 定义 | 容灾等级示例 |
| --- | --- | --- |
| 可用性（Availability） | 系统正常运行时间占比（运行时间/(运行+故障时间）*100%） | 99.9%（年停机&lt;=8.76h）|
| RTO（恢复时间目标） | 故障后恢复服务的最大可容忍时间 | &lt;=5min（金融级） |
| RPO（恢复点目标） | 故障时允许丢失的数据量时间窗口 | 0（零数据丢失）|
|  MTBF（平均无故障时间） | 系统连续正常工作的平均时间 | &gt;=90天 |
| MTTR（平均修复时间） | 故障后恢复的平均时间 | &lt;=30min |

## 权威标准

| 标准类型 | 代表标准 | 关键要求 |
| --- | --- | --- |
| 国际标准 | ISO/IEC 27001（信息安全管理） | 要求业务连续性计划（BCP） |
| 金融行业 | PCIDSS 3.2.1 | 数据库加密+日志审计 |
| 中国国家标准 | GB/T 20988（信息系统灾难恢复规范） | 分6级（第6级要求RPO=0，RTO分钟级） |

# 常见高可用处理方式

- 冗余设计：通过冗余系统或服务来缺包即使一个组件失败，系统仍然可以继续运行
- 避免单点故障：通过分布式架构或多副本机制确保没有任何一个组件的故障会导致整个系统不可用

## 常见解决方案

- Hot-Hot架构：多个服务同事处于活动状态，通过API网关协调服务请求分发。
- Hot-Warm架构：一个服务处于活动状态，另一个作为备用以在故障时接管。
- 单主架构：主节点负责协调多个副本节点的数据一致性。
- 无主架构：多个节点平等，没有主节点，常用于分布式系统。（对称、非对称）

## 常见高可用处理方式

### 常见实现技术

- 日志复制：主备数据同步，如binlog/WAL
- 共享存储：多节点访问同一数据，如Oracle RAC
- 共识算法：分布式节点状态一致性，如Raft(TiDB)、Paxos(Spanner)
- 代理层：读写分离+故障检测，如ProxySQL(MySQL)

# GBase 8a一致性

## 一致性协议

- V86版本（EOM）：corosync，使用虚同步协议totem，紧耦合，提供的基础设施有限。
- V95版本：gcware集群，使用raft协议实现各副本的一致性，解耦

## 数据一致性保证

GBase 8a写数据采用的是主备分片同时写的策略，写完之后需要进行分片间的一致性检查，如果不一致，直接revert

# GBase 8a数据同步与恢复

GBase 8a采用分片方式进行切片存储（表可按照hash分布或随机分布），采用副本冗余的方式对分片进行存储，一般为2副本，如果需要更高可用性，采用3副本，但相应成本也会提升。

## GBase 8a的数据恢复

- 按SQL类型区分：DDL的恢复和DML的恢复
- 按数据类型区分：元数据的恢复和数据的恢复

## 数据状态记录fevent

业务执行时发现并记录。

- dml event 数据内容不一致，dml执行时记录
- ddl event 元数据不一致，或者表结构不一致，ddl执行时记录
- dmlstorage event 数据存储异常，一般是磁盘物理损坏或者数据文件 checksum 错误。元数据损坏时记录

## 数据恢复架构

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/UDTv5UXjuGdHx-AwGUIu7/image.png)

- coordinator：gcluster集群，多个gcluster服务组成，每个均可提供服务
- gcware：一致性集群
- gcrecover：数据恢复集群，采用对称式方式部署
- gnode：数据集群
- syncserver：每个数据节点上的数据同步server端
- syncclient：每个数据节点上的数据同步client端（cs架构，多线程方式处理）

gcluster和gcware有交互，gcluster和gnode也有交互，syncserver和synclient主要用于共享数据，gcrecover与gcware有交互，gcrecover会指导gcluster元数据、gnode元数据和数据进行恢复。
gnode某一个节点上记录了一个fevent，会通过gcluster记录到gcware中。恢复集群gcrecover会定时从gcware中获取待修复的信息，根据分片的信息，进行对应分片的修复。

## gcrecover恢复处理方式

- DDL处理：采用redo方式进行，同表具有有序性
- DML处理：使用数据同步进行处理
- DMLstorage处理：重建表+数据同步

## 数据同步机制

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/e1vCjcv7Tnejkr7Hyrtfr/image.png)

根据元数据的变化，采用差异同步方式，最小单位为一个DC

# GBase 8a故障转移

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/z_N6gwfgiGsDmREAbdBsB/image.png)

gcluster某一个节点宕机，会记录failover信息，在每一次做业务的时候都会记录一个commitID到gcware中，如果业务做完了，会在gcware取消，如果gcluster故障，gcware中就没有办法清理，gcware就会知道哪个节点故障，就会找接管节点来继续执行commit业务

# GBase 8a数据备份与恢复

## 逻辑备份

有gcdump工具，类似于MySQL的mysqldump

## 物理备份-离线备份工具

有gcrcman工具，支持全量备份和增量备份，包含实例级备份、库级备份、表级备份、批量表级备份。gcrcman工具主要由集群备份恢复工具gcrcman+各节点上的rcman工具组合而成，数据备份到各自节点自身上。
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/QEgVCrqorGaAsI3nHubkp/image.png)

gcrcman工具发备份恢复命令，各节点rcman工具收到命令后进行数据库的备份恢复。
实例级备份，整个集群是read-only状态，此时只读不可写。

## 物理备份-在线备份工具

有gccow工具，支持本地在线备份和远端S3在线备份，框架类似于gcrcman，采用COW（写时复制原理）处理。

# GBase 8a数据的容灾处理

两个集群间进行同步，采用Rsynctool工具，主要由集群工具rsynctool+syncclient+syncserver组成。
可以实现集群建同步、数据同步的流控限速和数据的二次压缩传输，同时还支持IPMapping功能（适用于集群IP与同步IP不通的情况）；元数据快照，对正在同步的表进行元数据内存快照，减少同步阻塞时间；支持视图、存储过程和UDF同步；
基于Rsynctool工具，形成可视化产品GVR工具，功能更加丰富。

**rsynctool框架：**
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/74iMRK5C7cdlVm8RW3R51/image.png)

通过rsynctool启动调用备集群中的synclient、syncserver，从主集群的syncserver中进行数据同步

# 参考视频

| 标题 | 链接 |
| --- | --- |
| P1-高可用定义 | https://www.bilibili.com/video/BV1tkzhBYEb5 |
| P2-常用高可用处理方式 | https://www.bilibili.com/video/BV1mkzhBaE8H |
| P3-GBase 8a一致性介绍 | https://www.bilibili.com/video/BV1mkzhBaEYi |
| P4-GBase 8a数据同步恢复 | https://www.bilibili.com/video/BV1UrzhBAEgk |
| P5-GBase 8a故障转移 | https://www.bilibili.com/video/BV1SrzhBAEFh |
| P6-GBase 8a数据的备份恢复 | https://www.bilibili.com/video/BV1urzhBPEeK |
| P7-GBase 8a数据的容灾处理 | https://www.bilibili.com/video/BV1UrzhBAERW |





备份恢复

GBase 8a高可用介绍

GBase 8a高可用介绍

评论

热门帖子