活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

# 简介

- PDQ全称：Parallel database query，即并行数据库查询
- 实现方式：将单个复杂的SQL查询任务智能地分解成多个较小的子任务，并并行地在多个CPU上同时执行这些子任务
- 适用场景：
  - 大数据量扫描（TB级别的表）
  - 含有聚合运算（sum、max等）、group by等聚集工作的SQL查询

# PDQ架构

## PDQ并行操作分为：

- 并行扫描
- 并行关联
- 并行排序
- 并行分组
- 并行聚集

## PDQ涉及到的关键的迭代器：

- SCAN类迭代器：表的扫描
- SORT类迭代器：排序操作（order by等）
- GROUP类迭代器：分组操作（group by、聚合函数等）
- JOIN类迭代器：连接操作
- MERGE类迭代器：合并操作
- Exchange迭代器：负责数据重分布和结果合并，为生产者消费者模型提供数据交换区，**最关键**

## 生产者消费者模型：

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/bHjW9kJTO42gSKF2fD16m/image.png)

生产者负责生产数据，消费者负责消费数据。

exchange主要功能：

- 数据分发：将上游产生的数据分发给下游
- 并行控制：协调多个线程之间数据流动，确保一致性和负载均衡
- 流程控制：管理缓冲、队列等资源，防止生产者过快或消费者过慢导致系统不稳定

## PDQ调度流程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/V7b3IBD-TMezc_QqLnDSH/image.png)

1. 根据SQL语句构建迭代树
2. 分别构建JOIN/SCAN/GROUP等迭代器
3. 并行化处理
4. 给需要并行化处理的这些迭代器中间去插入exchange迭代器，用于划分并行段
5. 给并行化处理的这些迭代器设置并行度
6. 以插入的exchange节点为基准递归设置生产者线程数和消费者线程数
7. 执行查询计划

## PDQ工作原理

示例：

```
select a.org_name,count(*),sum(a.amount) 
from customers a,orders b
where a.cus_num = b.cus_num
group by a.org_name
order by a.org_name;
```

查询涉及两个大表customers和orders，通过cus_num进行连接，然后按照org_name分组，计算每组的行数和amount的总和，最后按org_name进行排序。
PDQ处理流程：并行扫描-&gt;数据交换-&gt;并行连接-&gt;并行聚合-&gt;归并与排序
具体架构如下：
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/VWDxiZT2G5F1a7TzTA6bo/image.png)
多个模块以exchange节点为媒介，将上游线程产生的结果整合、分发到下游线程。

- scan线程：并行扫描，从磁盘中并行进行数据读取
  ![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Pq0bI4NiH1P5rZ4nXbFx-/image.png)
- join线程：并行连接，join计算，拿到扫描出来的数据，按照cus_num进行重分区，相同hash值的数据分到同一个VP上进行处理
  ![image.png](https://g1.cdn.gbase.cn/CommunityUploads/7RwGrqJYUm3AUc5_Glqci/image.png)
- group by线程：并行分组，上游数据根据org_name进行重分区做本地聚合
  ![image.png](https://g1.cdn.gbase.cn/CommunityUploads/ZCWMaAjQ_7-c9sMvDMpoU/image.png)
- sort线程，串行排序
  ![image.png](https://g1.cdn.gbase.cn/CommunityUploads/Cig1K38VaQrb3lY-7mdtP/image.png)

# PDQ配置与使用

## 配置

- 操作系统有多个CPU，VPCLASS中的CPU VPS大于1
- 设置PDQ，set pdqpriority n
  
  - n = 0：关闭PDQ，查询串行执行
  - n = 100：使用最大VP（受MAX_PDQPRIORITY限制）
  - n &gt; 100：多出100的值代表并行扫描线程（scan）的数量

如果只有单个PDQ任务运行，则可以设置较高的值，如果系统中有多个PDQ任务，那么需要设置较小的值，以避免互相等待的情况。

## PDQ相关参数

| 参数 | 作用范围 | 默认值 | 影响维度 |
|---|---|---|---|
| PDQPRIORITY | 会话级 | 0 | 单个查询并行度 | 
| MAX_PDQPRIORITY | 实例级 | 100 | 系统并行资源上限 |
| DS_MAX_QUERIES | 实例级 | 2*CPU VPS 数量 | 并行 PDQ 查询的数量 | 
| DS_TOTAL_MEMORY | 实例级 | 物理内存 20% | 查询支持的最大内存 |
| DS_MAX_SCANS | 实例级 | 1024*1024 | 最大扫描线程数 |

## 不同值下的线程数量对比

设置参数：MAX_PDQPRIORITY = 100；VP = 16
设置以下不同 PDQ 值，执行 SQL 查询语句，onstat -g ath 查看线程

![image.png](https://g1.cdn.gbase.cn/CommunityUploads/r5A5TAghb_-l3jNz1jGWX/image.png)

# 并行扫描任务调度

## 静态分配

在 PDQ 中，当执行全表扫描时，系统会将扫描任务分解为多个子任务，由多个 CPU VP 并行执行。set pdqpriority n 启用 PDQ 后，并行扫描任务的数量（scan 数）通常被固定。
![image.png](https://g1.cdn.gbase.cn/CommunityUploads/8A5qR56zrIyd0iAd7rwAI/image.png)
然而，这种静态分配可能导致以下问题：

- 小表分配过多 VP：对于小表，过多的并行任务会增加协调开销，可能比单线程扫描更慢。
- 大表分配不足 VP：对于大表，如果并行任务数量不足，则无法充分利用系统资源。
- 资源争用：如果并行任务数超过 CPU VP 的数量，会导致任务排队，增加调度开销。

## 动态分配——优化后

### 优化方案

- 动态分配线程：根据表的页数大小，动态调整并行扫描任务的数量，达到负载均衡的目的
- 并行扫描任务数限制：
  - 确保扫描线程数不超过 PDQ 最大可用线程数；
  - 在上一个条件的基础上，对大表增加线程，对小表适当减少线程，使每个线程处理的页数量尽量控制在 10000 以内

### 执行流程

1. for 循环内对并行扫描线程数进行调整
2. 获取当前 PDQ 被分配到的线程数，确保扫描线程数不超过 PDQ 被分配的线程数。如果超过，则将其限制为最大值
3. 获取当前被扫描表的页数，如果每个线程处理的页数超过 10000，增加扫描线程数
4. 如果每个线程处理的页数小于 50，减少扫描线程数
5. 满足所有条件：退出循环

总结成公式如下：
set pdqpriority n开启PDQ后设置nscans初始值：

```
n &gt; 100：
        nscans 初始值 = n-100
n &lt;= 100：
        nscans 初始值 = 1
```

循环更新：

```
50 &lt;= pages/nscans &lt;= 10000：
        nscans = nscans
pages/nscans &gt; 10000：
        nscans = nscans ++
pages/nscans &lt; 50
        nscans = nscans --
```

最后并行扫描任务数=min(nscans,PDQ最大可用线程数)

### 优化结果

还是上述示例：

```
select a.org_name,count(*),sum(a.amount) 
from customers a,orders b
where a.cus_num = b.cus_num
group by a.org_name
order by a.org_name;
```

export DBACCESS_SHOW_TIME = 1 查看查询耗时

**大表**

```
未动态分配扫描线程：

vp = 16，set pdqpriority 105，扫描线程数 = 5，执行用时：20.035sec

优化后：

vp = 16，set pdqpriority 105，扫描线程数 = 16，执行用时：12.630sec

vp = 56，set pdqpriority 105，扫描线程数 = 50，执行用时：11.862sec
```

**小表**

```
未动态分配扫描线程：

vp = 16，set pdqpriority 116，扫描线程数 = 16，执行用时：10.015sec

优化后：

vp = 16，set pdqpriority 116，扫描线程数 = 1，执行用时：8.232sec
```

# 参考视频

[【G 术时刻 12 期】GBase 8s 基于 PDQ 的查询优化 P1-PDQ 并行查询](https://www.bilibili.com/video/BV1yvqgBfEjN/)

[【G 术时刻 12 期】GBase 8s 基于 PDQ 的查询优化 P2-并行扫描任务调度](https://www.bilibili.com/video/BV1yvqgBfEb3)

[【G 术时刻 12 期】GBase 8s 基于 PDQ 的查询优化 P3-结果展示](https://www.bilibili.com/video/BV1w6qgB4EkY)










性能调优

GBase 8s基于PDQ的查询优化原理及使用介绍

GBase 8s基于PDQ的查询优化原理及使用介绍

评论

热门帖子