活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 背景与挑战

## 背景

市场上越来越多企业采用多数据库架构，尤其是国产数据库替代场景里，SQL 方言兼容已经成为数据库产品竞争力的重要指标。SQL兼容已经不是简单的SQL翻译或者功能补丁，而是产品战略中构建数据库生态的必经之路。

## 目标

- 降低客户迁移成本
- 提升GBase 8s数据库竞争力
- 提高SQL解析模块兼容性和可扩展性

## 挑战

兼容MySQL并非能解析SQL这么简单，这是一个系统工程，要对整个SQL生命周期进行一致性适配，SQL兼容真正的难点在语义兼容与行为一致方面，而不是语法本身。

**从软件工程视角出发主要有以下挑战：**

- 范围难定义：MySQL功能全集大，覆盖 DDL / DML / DQL / 函数 / 类型 / 事务等
- 复杂度：包括语法共存（MySQL模式、Oracle模式、GBase原生模式）、模块解耦与行为兼容带来的工程复杂度
- 维护与技术栈：不同MySQL版本间的行为差异、语法变动、关键字使用冲突等情况
- 测试覆盖：大量 SQL 语法行为回归测试

**核心技术挑战：**

| 维度 | 挑战 |
| --- | --- |
| 协议层 | 支持MySQL协议栈 |
| 词法&语法 | Token差异、关键字冲突、YACC 规则、 AST结构差异 |
| 语义层 | 数据类型、隐式类型转换、函数、DDL、DML行为差异 |
| 执行层 | 执行计划与优化规则不同 |
| 事务模型 | 锁、隔离级别的行为差异 |
| 其他 | 会话级/全局级的变量配置/开关、MySQL元数据显示、报错信息/逻辑 |

# 方案一：MySQL实例接入方案

**在GBase 8s内运行 MySQL 实例，实现协议级的完整兼容。**

该方案的核心思想是在GBase 8s数据库中运行一个MySQL实例，它通过MySQL协议与客户端通讯。SQL 仍由 MySQL 的语法解析器处理，然后把生成的GBase 8s语法树，发送给GBase 8s执行；将执行结果封装成MySQL协议格式返回给客户端。这样理论上可以获得最完整的 MySQL 兼容性，包括协议、工具、行为。但工程量巨大，涉及到线程模型、内存模型、调用路径等全面改造。

## 线程模型

GBase 8s是协程模型（GBase 8s有多个VP进程，用户线程以协程的方式跑在多个VP上，在VP之间可以互相漂移），MySQL是线程模型。由于运行模式不同，导致MySQL无法直接调用8s的服务，所以设计了下面这套机制，使得MySQL端收到的请求能够发送给GBase 8s执行，并向客户端返回结果集。

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/3irciMUHY9lAekoKHvtGo/image.png)

- 线程创建过程：MySQL收到客户端连接请求，创建一个pthread worker线程，同时请求gbase8s创建一个sqexecm用户线程，并将两者绑定。
- SQL执行过程：MySQL收到客户端SQL请求，进行yacc解析，生成GBase 8s语法树，然后发送给绑定的用户线程执行。用户线程执行后，将GBase 8s 执行结果封装成 MySQL 协议格式直接返回给客户端（将MySQL的协议层调用包装成C函数供GBase 8s结果集返回使用）。

## 核心技术挑战

- **线程模型冲突：**
  - MySQL 是“单进程 + 多线程 + 私有内存”模型。
  - GBase 8s 是“多进程 VP + 协程+ 共享内存”模型。
  - 线程上下文完全不同，必须为每条连接创建 sqexecm 用户线程并绑定worker 线程。
- **内存模型不兼容：**
  - MySQL所有线程都运行在同一个进程里，共用同一片进程内存空间。
  - GBase 8s的用户线程（协程）可能在不同的 VP（不同进程）之间来回切换，因此必须使用所有 VP 都能访问到的一块共享内存。
  - 为了保证GBase 8s用户线程可以跨VP访问内存，因此需要将两边线程互操作的变量在共享内存上分配，包括绑定控制块、生成的GBase 8s语法树、结果集返回相关内存等。
- **MySQL 语法 → GBase 8s AST 映射：**
  - 通过使用 MySQL 原生的词法、语法解析层来构建生成GBase 8s的粗略语法树并发送给GBase 8s的SQL语句执行线程执行。
- **结果集返回：**
  - MySQL协议层C接口封装、数据类型映射、结果集映射、SQL执行状态返回等。

这个方案经过基础模型验证，更细节的部分就不深入展开了，由于这个方案过于复杂，为了兼顾工程可控性、性能、后期维护演进以及考虑到人力和时间问题，选择下面这个方案，进行实现落地。

# 方案二：MySQL YACC接入方案

**从“软件复用 + 模块解耦 + 功能适配”视角出发，构建一套可以扩展的语法兼容框架。**

## 核心设计原则

- **解耦：** 词法、语法解析层独立。
- **复用：** 复用 MySQL 8.0 YACC 文件，降低实现成本。
- **可配置：** 通过语法模式（sqlmode）动态切换不同数据库语法。
- **可演进：** 后续能扩展补充高版本 MySQL 语法或者根据用户需要灵活兼容低版本MySQL关键字等问题。

## 架构

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/6FLC-sbPQDdITK4S-ycCe/image.png)

- **词法层（Lexer）** 继承于原生的GBase 8s 词法解析模块；为了适配复用的MySQL YACC文件，重写 token 以及字符串映射相关定义并统一管理关键字表。
- **语法层（Parser）** 引入 MySQL 8.0 的sql_yacc.yy 文件；修改包含头文件、规则类型定义、符号优先级、错误处理规则、适配粗略语法树生成处理等；最后输出 GBase 8s 的粗略语法树。
- **语义层** 再将这个粗略语法树转化为内部语义结构；传递到后端优化执行。

## 解析层适配

根据语法模式，新增MySQL模式的SQL入口点。

- 词法处理适配：
  - 增加 MySQL 关键字 Token以及映射字符串的定义文件。
  - 继承原生的词法框架，并重新改造一个新的MySQL模式词法处理模块。
- 语法处理适配： YACC文件改造
  - 在 GBase 8s 环境下重新定义 YYSTYPE 与语法节点结构。
  - 保留 MySQL 语法树的层级结构，根据不同语法节点，构建GBase 8s 的粗略语法树。
  - 修改Makefile，将bison编译工具以及新增词法语法解析文件接入编译系统。

# 方案对比

| 维度 | 方案一：接入MySQL实例 | 方案二：接入MySQL YACC | 方案三：原有YACC基础上修改 |
| --- | --- | --- | --- | 
| 完整性 | ✅️理论最全：语法、协议、工具最大程度复用 MySQL | ✅️高：可实现 MySQL 主流语法的高兼容度 | ⚠️有限：仅能覆盖我们逐条扩展的语法，难全面 | 
| 系统性 | ❌️体系冲突最大：两套架构深度耦合，执行链路被拆分 | ✅️体系最清晰：解析层复用，执行层保持 8s 原生  | ⚠️体系性弱：补丁式扩展，结构越来越难维护 |
| 安全&风险 | ⚠️高风险：跨VP/线程同步、共享内存访问易出现不稳定 | ✅️风险低：不触碰底层模型，逻辑集中在解析层 | ⚠️风险高：语法冲突、解析不确定性容易引入错误 |
| 成本 | ⚠️最高：线程/内存/协议/AST全部重构，长期维护成本巨大 | ✅️最低：仅解析层改造，构建AST 映射即可 | ⚠️高：不断扩展语法导致工程量持续累积 | 
| 局限性 | 重大限制：性能不可控、稳定性差、版本升级困难 | 局限可控：需适配部分语义差异，但架构健康 | 局限明显：语法冲突多、版本迭代代价高，技术债积累快 |

**综合成本、风险、功能完整性与长期维护性，接入 MySQL YACC 是最平衡、最可落地的方案。**

# 兼容功能适配情况

**目前已经完成了90%的MySQL常用语法功能兼容。**

- 词法：反引号、转义符、位运算符、安全等于
- 函数：时间类计算函数、字符串操作函数、JSON函数、XML函数、各类表达式等
- 数据类型：二进制、十六进制、DECIMAL扩容、自增类型、布尔类型结果、隐式类型转换
- DDL/DML/DQL：inner join、多值插入、插入和更新合并功能
- 索引：索引指定长度、虚拟列索引
- 元数据显示：使用伪表和视图方式提供MySQL元数据信息显示
- 事务功能&锁
- MySQL会话/系统级的开关变量

# 总结

总的来说，GBase 8s数据库对MySQL语法的兼容，是一个结合了参数配置、语法解析、实时重写、函数和类型映射的综合技术方案。主要目的在于尽可能降低用户的迁移成本，本质上是在自身的SQL引擎之上构建了一个“翻译层” 。

# 参考视频

[【G 术时刻 16 期】GBase 8s MySQL 语法兼容介绍 P1-背景与挑战\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1UTXhBYEo9/)
[【G 术时刻 16 期】GBase 8s MySQL 语法兼容介绍 P2-MySQL 实例接入方案\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1UuXhBwESn/)
[【G 术时刻 16 期】GBase 8s MySQL 语法兼容介绍 P3-MySQL YACC 接入方案\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1MuXhBAErP/)
[【G 术时刻 16 期】GBase 8s MySQL 语法兼容介绍 P4-方案对比与总结\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV18TXhBeEGd/)







GBase 8s MySQL语法兼容性介绍

评论

热门帖子