活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 简介

GBase 8a作为一款分析型数据库产品，数据量已远高于普通意义上的数据量，可到达PB级别，在PB级别的数据量下，会带来一下几个问题：

- 数据存储压缩与解压缩带来高I/O开销
- 分布式查询中频繁发生数据重分布与落盘（单机计算中内存不足以承载所需要的数据，需要将数据及时放到存储介质上），会带来额外的I/O开销
- 传统索引在大数据上性能差且维护成本高

针对以上问题，优化目标就是最大限度减少I/O、控制重分布与落盘，带来性能提升。

# 集群层的优化

## 数据分布方式介绍

按照数据分布类型来说，主要分为以下两种：

1. __分布表__
   按照分布算法区分可分为：
   
   - Hash分布：按照某个键或某几个组合键进行特定的hash算法计算，将数据放到对应的节点上
   - 随机分布：随机轮训的方式放到数据节点中
2. __复制表__：每个节点都有完成的表数据

为了方便后续的介绍，将分片和节点简单理解为一个概念，也就是一个节点上只有一个分片。

对于查询的代价来讲，主要开销在join和聚合两个阶段，以下分别介绍GBase 8a在执行计划上的优化。

## 分布表静态join执行计划

所谓的静态就是在本次join过程中不需要涉及到数据重分布，如下示例。
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/ifLQ9G1wsueEawA0zzyxK/image.png)

t1表和t2表的hash分布列均为gid，且join的关联条件为t1.gid=t2.gid，根据哈希算法相同输入总能产生相同输出的这个属性，我们可以知道t1表和t2表是不需要进行数据重分布的。

__执行计划：__
直接在各个节点上计算自己有的数据部分，然后将结果汇总起来

## 分布表join复制表静态执行计划

t1表是分布表，t2表是复制表，如下示例：

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/L3O7mxrMRH27Teyux6Fqx/image.png)

t1表和t2表的hash分布列均为gid，且join的关联条件为t1.gid=t2.gid，同样t1表和t2表也是不需要进行数据重分布的，因为t2表为复制表，数据在各节点上都是完备的。

__执行计划：__
直接在各个节点上计算自己有的数据部分，然后将结果汇总起来

## 小表拉复制表join执行计划

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Z8HYeIlZYHOfSk-iRoLUl/image.png)

t1表是一个分布列是gid的分布表，t2表是一个分布列不是gid的分布表，join的关联条件为t1.gid=t2.gid，这时候这两个表不能直接在各个节点上去计算，需要进行数据重分布。
假设t1表行数>t2表行数，且t2表数据条数小于hash_redist_threshold_row参数设定的值，且两表条数相差超过20%，这个时候就满足小表和大表的条件。

__执行计划：__
t2表拉复制表，再在各节点上和t1表join（同[分布表join复制表静态执行计划](#分布表join复制表静态执行计划)）

## 动态重分布join执行计划-1

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/HMFzDRaFhUIw3RhiOdzRV/image.png)

t1表hash分布列为gid，t2表hash分布列不是gid，join的关联条件为t1.gid=t2.gid，且这两个表的数据量相似（条数相差不超过20%）或小表的条数大于hash_redist_threshold_row参数设定的值。

__执行计划：__
t2表按照gid做hash重分布，再和t1在各节点上做join（同[分布表静态join执行计划](#分布表静态join执行计划)）

## 动态重分布join执行计划-2

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/LzJrSvooqdvc_Bj4KKkWy/image.png)

t1和t2表的hash分布列均不是gid，join的关联条件为t1.gid=t2.gid，且两个表数据量相似（条数相差不超过20%）或小表的条数大于hash_redist_threshold_row参数设定的值。

__执行计划：__
将t1表和t2表按照关联的条件gid做hash重分布，重分布之后再在各节点上做join（同[分布表静态join执行计划](#分布表静态join执行计划)），这样重分布的数据量最多就是t1和t2表数据的总量，相比拉复制表的数据量（表x总节点数）要小的多。

## 分布式静态group by执行计划

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/sTUiBDdPuj1aexG8nltk8/image.png)

t1表是按照c1列进行hash分布的，聚合列中也存在c1，重复的数据会落到相同的节点上，所以不需要重分布。

__执行计划：__
t1表在经过where条件后，直接在各个节点上执行group by，汇总到集群层，然后根据聚合函数情况选择是否进行二次聚集，之后再进行sort排序

## 动态重分布group by执行计划

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/nCdklb8JbWYnSVCztRbcG/image.png)

t1表的hash分布列不在group by列表中。

__执行计划：__

t1表经过where条件过滤后先进行各节点上的第一次聚集（受参数控制，目的是减少后续重分布的数据量），然后再按照c1列进行动态重分布，之后再在各节点上执行group by，汇聚到集群层，然后根据聚合函数情况选择是否进行二次聚集，之后再进行sort排序

注：
group by列表中有多个列时，上面的执行计划会选择group by列表中的第一列作为重分布的hash列

## 分布式等值连接下推

前述执行计划基本上有了解，join，group by等算子在本地执行

## 谓词下推

可以放在动态hash重分布过程中，也可以放在子查询的重分布过程中。

例如：

```
select b.c3,sum(a.c5) from a,b where a.c7=b.c2 and a.c1=1 ... group by b.c3 order by ...
```

a表和b表关联时，带a表的单表条件，a表需要数据重分布的时候，会将谓词c1=1的条件，下放到数据重分布过程中，会减少a表的重分布的数据量，提高查询效率。

# 单机层的优化

GBase 8a是列式存储的数据库，存储单元叫做DC（DataCell）,即将一个列中连续的65536行数据存储成一个DC包，当成GBase 8a的基本存储单位。

列存在OLAP分析领域的好处不在这里赘述，GBase 8a在列存的基础上，增加了智能索引这样的优化。

## 智能索引

智能索引又可以被称为粗粒度索引，对标行级索引这种细粒度索引。
针对每一个DC都会建立一条包含统计信息的索引：

- 统计信息包含最大，最小及空值数量等
- 字符串前8位做了索引
- 索引数据量大大降低
- 每条索引随着新增DC追加到索引数据结构末尾，建立索引的速度与数据量无关
- 自动建立索引，无需客户维护
- 查找数据时根据DC边界进行智能过滤，减少I/O，提高查询效率

## 智能索引优势对比

| | GBase 8a智能索引 | 传统B-tree索引 | 传统Bitmap索引 |
|---|---|---|---|
| 粒度 | datacell(65536行) | 行 | 行 |
| 适用字段 | 所有字段 | 适用于重复值少的字段 | 适用于只有几个固定值的字段 |
| 占用空间 | 原始数据的1/100左右 | >=原始数据 | 原始数据的十分之几 |
| 透明 | 透明生成，透明使用 | 需要手工配置生成索引 | 需要手工配置生成索引 |
| 创建和维护 | 全自动进行 | 手工进行 | 手工进行 |
| 统计计算复用 | 预先计算的统计值被不断复用，节省大量重复计算开销 | 每一次查询都需要重新计算统计值 | 每一次查询都需要重新计算统计值 |

# 参考视频

了解更多请观看以下视频内容：

| 标题 | 链接 |
| --- | ---| 
| P1-背景介绍| https://www.bilibili.com/video/BV1ht2SBgEV3/ |
| P2-集群层优化| https://www.bilibili.com/video/BV1Gx2SBkEro/ |
| P3-单机层优化| https://www.bilibili.com/video/BV1yC2SBFEbw/ |



性能调优

GBase 8a数据表扫描优化原理介绍

GBase 8a数据表扫描优化原理介绍

评论

热门帖子