活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

本篇根据GBase 8a开发者联盟的直播内容整理而成，更多的技术细节及详细使用还是需要通过官方文档或官方技术支持人员等渠道了解。

# 在线备份功能概述

在线备份功能通过gccow.py提供在线备份与恢复功能，是V9.5.3以上某个版本之后支持的新功能，老版本GBase 8a的备份与恢复功能是通过gcrcman.py工具提供，是一个离线备份与恢复工具。

支持功能如下：

| 功能项 | 功能详述 |
| --- | --- |
| 物理备份恢复 | 全量备份/恢复、增量备份/恢复 |
| 备份粒度 | 表级、多表级和库级（库级备份包括存储过程/函数） |
| 备份数据 | 单副本物理备份，gcrcman是全副本的备份，备份空间上会有比较大的减少 |
| 备份相关辅助功能 | 查看备份点/删除备份点/清除备份 |
| 支持的存储介质 | 本地磁盘（Disk）、对象存储系统（OBS）、HDFS（后续支持） |
| 支持的调度方式 | 命令行、Web界面（后续支持）|
| 支持备份文件抽检 | 单分片抽检、多分片抽检、单表抽检、多表抽检 |
| 备份数据完整性校验 | 校验备份数据的正确性、完整性和一致性 |
| 支持恢复部分数据 | 从库级（多表级）备份中恢复单表或多表 |
| 支持备份过程中不阻塞DDL/DML | 完全在线备份 |

# 技术原理

## 全局流程图

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/CRhULyf973Wmqcbor6y53/image.png)

备份组件包括：

- gccow.py：备份主控，是备份入口，用户通过命令行开始备份任务，python gccow.py -e "backup ..."，在某一个gcluster节点上就可以
- gccow_node：备份任务执行器，负责执行备份主控的备份任务，接收主控的命令，然后执行本节点的元数据备份，在每一个节点上都会有一个进程
- gncow：数据备份执行器，负责执行备份主控的备份任务，备份本节点的表数据，在每一个gnode节点上都会有一个进程

## 库级全备流程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/dJsp1dMcFiECKcdz3stdn/image.png)

**关键技术：**

- 写时复制技术是保障在线备份不阻塞DDL/DML和数据一致性的关键技术。
- 开启写时复制后，当用户在备份状态的表上执行的DDL/DML时，系统首先复制表的元数据和尾块数据，然后再执行DDL/DML命令。
- 特殊的，如果是DROP表操作，系统在DROP表之前，不仅复制表的元数据，还需要移走该表的数据文件，然后在执行表的DROP操作。

**流程：**

1. 开始库级备份
2. 加库的读锁，避免备份期间库被删除
3. 启动写时复制，备份期间不阻塞DDL/DML
4. 准备备份清单，获取库下所有表的列表
5. 划分备份批次，由于库下的所有表可能会比较多，备份的时候会划分备份批次，一批次一批次的进行备份操作
6. 获取一批次需要备份的表
7. 每张表设置备份状态
8. 执行表的元数据和数据备份，如果备份失败，会将失败的表写入失败列表中去，以便后续再进行尝试
9. 完成备份后，将表设置为正常状态
10. 重试失败列表中的表，尝试完成备份，重试3次，如还未完成，将记录为失败的表
11. 重试完成后，设置表为正常状态
12. 关闭写时复制
13. 释放库的读锁
14. 结束库级备份，生成一个库级备份的备份点

**全量备份按照以下顺序备份所需要的文件：**

- 库级备份的备份清单
- 库的元数据信息和表的元数据信息
- 表的数据文件
- 备份任务下发到每个备份节点，按照每个节点为单位进行备份
- 每个gcluster节点负责备份本节点的库/表元数据，将备份文件上传到远端存储系统中（或本地）
- 每个gnode节点负责备份本节点的元数据及表的数据文件，将备份文件上传到远端存储系统中（或本地）
- 备份点信息，包括备份周期、备份点、备份时间以及备份成功与失败的表列表信息。

# 库级增备流程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/ss8k5A0dqiiRyGTejrLnM/image.png)

**和全备的区别：**
增加两个处理步骤：

1. 从远端备份路径下的备份文件中获取上一个备份点表的元数据信息
2. 对比表的当前元数据与上一个备份点的差异，确定本次增量备份的备份内容

**流程：**

1. 开始库级备份
2. 加库的读锁，避免备份期间库被删除
3. 启动写时复制，备份期间不阻塞DDL/DML
4. 准备备份清单，获取库下所有表的列表
5. 划分备份批次，由于库下的所有表可能会比较多，备份的时候会划分备份批次，一批次一批次的进行备份操作
6. 获取一批次需要备份的表
7. 每张表设置备份状态
8. 获取上一次备份的表元数据
9. 计算表的增量差异
10. 执行表的元数据和数据备份，如果备份失败，会将失败的表写入失败列表中去，以便后续再进行尝试
11. 完成备份后，将表设置为正常状态
12. 重试失败列表中的表，尝试完成备份，重试3次，如还未完成，将记录为失败的表
13. 重试完成后，设置表为正常状态
14. 关闭写时复制
15. 释放库的读锁
16. 结束库级备份，生成一个库级备份的备份点

## 库级备份恢复流程（基于全备）

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/F4wKw_9PrKYKk8ftsUs30/image.png)

**核心要素：**

1. gccow工具执行数据恢复时仅恢复表的主分片数据
2. 备分片数据通过recover技术实现，gccow工具设置备分片的event事件，集群的recover进程负责按event恢复表的备分片数据
3. 库级恢复任务完成后，该库下的表即可对外提供服务

**流程：**

1. 开始库级恢复
2. 获取备份点数据，从备份路径拉取备份点信息文件
3. 创建数据库
4. 创建表
5. 生成全局数据恢复调度计划，如果数据量比较大会按照批次进行调度，每个数据节点负责本节点数据处理
6. 数据节点获取数据备份文件，从备份路径拉取表数据备份文件（全量数据备份文件）
7. 逐个表恢复主分片数据
8. 主分片数据恢复完成
9. 设置备分片数据恢复event
10. 备分片数据恢复event设置完成
11. 结束库级恢复

**库级恢复按照以下顺序恢复：**

- 恢复任务下发到每个节点执行，gcluster节点主要是负责元数据恢复，gnode节点主要是负责数据恢复
- gcluster节点从远端存储系统拉取元数据备份文件
- gcluster节点创建库和表
- 每个gnode节点从远端存储系统拉取本节点恢复任务所需的表的数据文件
- 每个gnode节点执行表的数据文件恢复操作，仅恢复表的主分片
- gcluster节点设置用于恢复表的备分片的event

## 库级备份恢复流程（基于增备）

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/a9K4YZa2lOH-ax6ONl7-5/image.png)

**和基于全备的区别：**

1. 增加了增量数据备份文件的恢复操作步骤
2. 具有多个增量备份点时，每个增量备份点执行一次增量恢复处理过程

**流程：**

1. 开始库级恢复
2. 获取备份点数据，从备份路径拉取备份点信息文件
3. 创建数据库
4. 创建表
5. 生成全局数据恢复调度计划，如果数据量比较大会按照批次进行调度，每个数据节点负责本节点数据处理
6. 数据节点获取数据全量备份文件，从备份路径拉取表数据备份文件（全量数据备份文件）
7. 逐个表恢复主分片数据
8. 数据节点获取增量数据备份文件，从备份路径拉取表数据备份文件（增量备份文件），注意，具有多个增量备份点时，每个增量备份点执行一次
9. 逐个表恢复主分片数据
10. 主分片数据恢复完成
11. 设置备分片数据恢复event
12. 备分片数据恢复event设置完成
13. 结束库级恢复

# gccow使用方式

## 命令行方式

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/dJAPaDxEkwJTcvcWbgD93/image.png)

备份过程日志：
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Hxt-jOEyLwKr3l1yX6IkD/image.png)

## 图形化管理界面（开发中）

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/PgdoEZyLi14ZmfZs4kalJ/image.png)

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/a8eTBXnX_sifEssY9baSy/image.png)

运维管理

GBase 8a在线备份功能介绍

GBase 8a在线备份功能介绍

评论

热门帖子