活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 字符集介绍

## 概念

1. 定义可存储的字符范围
2. 决定在计算机中二进制编码方式

## 常用字符集：charset

- Latin1：支持西欧语言
- UTF-8/UTF8mb4：支持几乎所有语言，GBase 8a默认字符集是UTF8
  - UTF-8：支持常用中文及字符，如果有生僻字或特殊字符会处理成“？”
  - UTF8mb4：还支持生僻字和特殊符号
- GBK/GB18030：中文专用字符
  - GBK：支持常用中文及字符，如果有生僻字或特殊字符会处理成“？”
  - GB18030：还支持生僻字和特殊符号

**查看支持的字符集：**
show charset
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Y7gyfvU3d0zlTYLtUJLbJ/image.png)

## 排序规则：collation

定义字符的比较和排序规则，例如：

- utf8mb4_general_ci：不区分大小写
- utf8mb4_bin：按二进制比较（区分大小写）

**查看支持的字符集排序规则：**
show collation
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/s0Ml_XqSoV3CXOt9095Bq/image.png)

## 指定字符集

### 安装时默认

在demo.option中设置：characterSet = utf8
安装后默认字符集：utf8 -&gt; default_charset

**常见关于字符集的参数：**

| 参数 | 描述 |
| --- | --- |
| character_set_client | utf8 -&gt;客户发送请求使用的字符集 |
| character_set_connection | utf8 -&gt; 将客户端发送的请求转为制定的连接字符集 |
| character_set_database | utf8 -&gt; 数据库的默认字符集 |
| character_set_results | utf8 -&gt; 返回结果的字符集 |
| character_set_system | utf8mb4 -&gt; 系统字符集（保持不变） |

<span style="color:red; font-weight:bold;">修改：配置文件default-charset-set， collation_server需重启</span>

### 创建时指定，不指定将使用默认值

- 创表
  create table t (a varchar(10)) charset gbk collate gbk_bin;
- 修改
  alter table t charset utf8mb4 collate utf8mb4_general_ci;
  alter table t convert to character set UTF8MB4; #表和列的字符集一起改变。
- 列指定字符集
  create table t1(a varchar(10) charset gbk collate gbk_bin,b varchar(10) charset utf8 collate utf8_bin) charset utf8mb4 collate utf8mb4_general_ci;
- 修改：
  alter table modify column b varchar(10) charset utf8mb4 collate utf8mb4_general_ci;

# 字符集的传输

## SQL查询

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/lVw7M84oN9liEoSJgAHmt/image.png)

1. 客户端以client字符集传输到解析层
2. 解析层解析数据成connect字符集发送到gcluster集群
3. gcluster集群可能需要创建执行计划，发向gnode单机的时候使用system字符集
4. gnode单机中存储存储过程、视图、函数存储成utf8mb4，表存储成表的字符集
5. 单机返回结果使用result字符集返回给客户端

## 从存储过程/函数/视图读取SQL

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/wceRXLd9nCsnee8ZMozvE/image.png)

1. 由于是utf8mb4存储的，先转换成client字符集发送到解析层
2. 后续同上流程

# 字符集的转换

## 典型的使用场景：

concat、left、right等多个字符串作为函数参数的函数，字符串字符集不一样则需要进行转换。

## 转换步骤：

1. 检测到字符集不一样，例如concat(a,b)，a:charsetA,b charsetB
2. 对字符集进行评估，假设最终评估结果为charsetB
3. 将a字符集进行转换，转换为charsetB字符集，再和参数b进行计算，即concat（convert（a using charsetB）， b）

**注意：**

- 评估规则发生在真正的取值计算之前，即：仅拿到字符集和常量值，并拿不到列里的值。
- 如果是常量，可以拿到对应值
- 评估规则：主要为三个维度
  - CHARSET_INFO *collation; -&gt; 字符集和比较规则
  - Enum Derib=vation derivation; -&gt;优先级
  - Uint repertoire; -&gt; 字符库

## GBase 8a的转换规则

### 字符集

常用字符集：utf8、utf8mb4、gbk、gb18030
GBase 8a的转换规则只允许向binary和unicode转化。
优先级相同时，非unicode编码的对象向unicode编码对象转换，即在非二进制的情况下，只能进行由gb18030/gbk-&gt;utf8/utf8mb4,utf8-&gt;utf8mb4。

- 如果有binary和unicode，则优先向binary转化
- 如果两者都是unicode时，字节低的向高的转化
- 如果都不是unicode时，取第一个为目标类型，但这类情况通常不会通过安全转换

### 优先级

从低到高，数字越小，优先级越高。

DERIVATION_IGNORABLE=6， // NULL

DERIVATION_NUMERIC=5， //常量数字

DERIVATION_COERCIBLE=4， //字符常量

DERIVATION_SYSCONST=3， //系统参数

DERIVATION_IMPLICIT=2， //列

DERIVATION_NONE=1， //混合字符集

DERIVATION_EXPLICIT = 0 //明确的字符集

在进行比较时，优先级为:

明确的字符集(binany a)&gt;多个字符集混合评估后的最终字符集&gt;列(表达式)&gt;系统参数(get system_var函数) &gt;常量字符&gt;常量数字&gt;NULL

在两个 Entity 进行比较时，会根据比较优先级，从优先级低的向优先级高的转换。

### 字符库


GBase 8a字符库有三种：

- #define MY_REPERTOIRE_ASCIl，仅含有ASCIl码表示的字符
- #define MY_REPERTOIRE_EXTENDED，仅含有非ASCII表示的字符
- #define MY_REPERTOIRE_UNICODE30，含有ASCII和非ASCII表示的字符

比较时，如果字符为纯ASCII，那么认为可转化，即只有第一种允许转化。
注意：拉丁字符集不参与比较。其不会作为评判的规则，真接返回另一个字符集和其优先级、字符库。

### 安全转化

在评估出来字符集的情况下，到底能不能转过去，需要进行一个安全转化的检查。

1. 如果进行转化的是列，且此列的字符集和评估后的字符集有一个是二进制或者评估后的字符集是一个 unicode编码的字符集，那么这个转化是安全的，否则全都是不安全的，不安全的会进行下一步检查。
2. 如果进行转化的是常量，则直接进行向目标字符集的转化，若转化过程中由错误，则是不安全的。
3. 最后检查字符库，如果参数的字符库是纯ASCII码，则这个操作也是安全的。

最终不安全的会报错。对于函数类型和字段类型的 Entity，仅在集群进行安全检查，单机不进行检查。

### 执行转换

使用convert函数，即EntityHanshuconvertcharset,该类是一个只有一个参数的函数类型，在判断转化是安全转化后，为需要转换的entity套上convert，代表需要把最后结果进行一次字符集转换。

1. 如果需要转化的是列，那么会初始化一个EntityHanshuconvertcharset 类型的对象，其唯一的参数为a,表现形式为convert(ausing utf8)。
2. 如果需要转化的是常量类型，会直接对字符串进行转换，Entityzifuchuan(a_gbk)变成Entityzfuchuan(A_utf8),并不会生成convert函数。
3. 如果需要转化的是引用类型（如子查询）,会取引用类型内部的引用和缓存信息,进行转换,转换后进行替换,ref(a)转换后变成 ref(convert(a using.....))。

# 参考视频

[【G 术时刻第 19 期】GBase 8a 字符集转换介绍 P1-数据库字符集\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV19YGx6fE4u/?vd_source=601f4ee47a329751552e39cdfcfc0956)

[【G 术时刻第 19 期】GBase 8a 字符集转换介绍 P2-字符集传输\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1YYGx6fECH?vd_source=601f4ee47a329751552e39cdfcfc0956&amp;spm_id_from=333.788.videopod.sections)

[【G 术时刻第 19 期】GBase 8a 字符集转换介绍 P3-字符集转换\_哔哩哔哩\_bilibili](https://www.bilibili.com/video/BV1aBGx6xEc3?vd_source=601f4ee47a329751552e39cdfcfc0956&amp;spm_id_from=333.788.videopod.sections)



GBase 8a字符集转换

评论

热门帖子