活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

窗口函数（`OVER (PARTITION BY ... ORDER BY ...)`）用于在结果集内按分区计算排名、累计、前后行取值等，不改变返回行数（相对输入行集）。在 GBase 8a 的 MPP 模型中，窗口计算是否能在各 DataNode 本地完成，取决于 **PARTITION BY 列与表分布键、ORDER BY 列及统计信息** 的组合；不满足本地条件时，计划将引入 **REDISTRIBUTE、Sort、Gather**，代价与数据量线性或超线性相关。本文说明计划判读要点、常见低效写法及经 `EXPLAIN` 验证的改写路径。函数名与支持子句以现场版本文档为准。

## 一、执行模型与本地窗口条件

窗口函数逻辑上分为三步：划分窗口分区 → 分区内按 ORDER BY 排序 → 对每行应用窗口帧函数。

| 条件 | 计划倾向 | 说明 |
|------|----------|------|
| PARTITION BY 列 = 表分布键 | 各 DN 本地窗口 | 分区内数据已在同一分片，无需为窗口重分布 |
| PARTITION BY 为空，仅 ORDER BY | 常需全局排序 | 依赖 Gather 或跨节点 Sort |
| PARTITION BY 与分布键不一致 | 多 REDISTRIBUTE | 按窗口键洗牌后再 Sort |
| 窗口函数与 DISTINCT/GROUP BY 嵌套 | 计划复杂 | 优化器可能先聚合再窗口，行数估计误差放大 |

**验证**：对问题 SQL 执行 `EXPLAIN`，定位窗口算子前的 Motion 与 Sort 节点，记录估算行数；与 `ANALYZE TABLE` 后计划对比。

## 二、常用函数与典型代价

| 函数类别 | 示例 | 计划关注点 |
|----------|------|------------|
| 排名 | `ROW_NUMBER`、`RANK`、`DENSE_RANK` | 分区内 Sort；分区数过大时内存与 spill |
| 偏移 | `LAG`、`LEAD` | 依赖有序输入；ORDER BY 非索引列时常 Sort |
| 聚合型窗口 | `SUM() OVER`、`AVG() OVER` | 帧定义（ROWS/RANGE）影响计算边界 |
| 首尾 | `FIRST_VALUE`、`LAST_VALUE` | 与 ORDER BY 方向、帧范围强相关 |

同一查询中多个窗口函数若 PARTITION BY、ORDER BY 不一致，优化器可能插入多次 Sort。合并为相同 `OVER` 子句可减少重复排序（以版本优化能力为准，须 `EXPLAIN` 确认）。

## 三、PARTITION BY 与分布键对齐

事实表 `fact_sales` 按 `cust_id` HASH 分布时：

- `PARTITION BY cust_id`：通常利于本地窗口，各分片独立计算客户维度排名。
- `PARTITION BY region`：若 `region` 非分布键，需按 `region` REDISTRIBUTE 后再窗口，数据量大时 IO 显著上升。
- `PARTITION BY dt`：按日期窗口统计时，若表按 `cust_id` 分布，每个业务日数据分散在全部分片，几乎必然全局洗牌。

**DDL 级对策**（需维护窗口）：评估是否按高频 PARTITION BY 列设计分布键，或建立按日期分区的中间表供报表读取。短期 SQL 级对策：先 `WHERE dt` 缩小行集，再窗口；或先聚合到 staging（分布键 = PARTITION BY 列），外层窗口。

## 四、ORDER BY 与帧定义

`ORDER BY` 决定分区内行序；`ROWS BETWEEN` / `RANGE BETWEEN` 定义帧范围。下列写法差异会导致计划不同：

1. **无 ORDER BY 的排名函数**：部分版本语义依赖物理顺序，计划仍可能插入 Sort 以保证确定性。
2. **RANGE 帧依赖数值/时间差**：与 Sort 稳定性、NULL 排序规则（NULLS FIRST/LAST）相关，比较规则受 collation 影响（参见字符集迁移文）。
3. **多列 ORDER BY**：列数越多，Sort 成本越高；仅保留业务必需排序列。

报表 SQL 评审时应写明：排序列是否已有序输入（例如上游已 `ORDER BY` 同列），避免重复 Sort。

## 五、窗口函数与 GROUP BY 的选择

需求为「每组取 Top 1」时，存在两类实现：

| 实现 | 适用 | 风险 |
|------|------|------|
| `ROW_NUMBER() OVER (PARTITION BY k ORDER BY m DESC)=1` | 需保留明细列 | 需过滤排名，计划含窗口+过滤 |
| `GROUP BY k` + `MAX(m)` 或子查询取对应行 | 仅需聚合结果 | Join 回表可能引入额外 Motion |

在 8a 上应分别 `EXPLAIN`，比较 Motion 行数与 Sort 次数。分布键与 `k` 对齐时，聚合路径有时优于窗口路径；`k` 高基数且需多列明细时，窗口路径可能更直接。

## 六、嵌套与 QUALIFY 类过滤

部分数据库支持 `QUALIFY` 直接过滤窗口结果；8a 若不支持，需外层包装：

```sql
SELECT * FROM (
  SELECT ..., ROW_NUMBER() OVER (PARTITION BY dept ORDER BY sal DESC) AS rn
  FROM emp
) t WHERE rn &lt;= 3;
```

派生表可能阻碍谓词下推，导致内层扫描行数偏大。可尝试：将选择性高的 `WHERE` 移入内层 `FROM emp` 子查询之前（直接写在基表扫描层），再 `EXPLAIN` 对比基表估算行数。

## 七、统计信息与计划偏差

窗口函数前若基表估算行数严重偏低，优化器可能选择不当 Join 顺序，间接放大进入窗口的行数。处理顺序：

1. 对基表执行 `ANALYZE TABLE`；
2. 对过滤后 staging 表加载并 `ANALYZE`；
3. 保存前后 `EXPLAIN` 文本。

若估计仍不可信，采用 staging 固定中间行数，外层仅做简单窗口。

## 八、分步诊断流程

1. 记录 SQL、基表 DDL（分布键、分区）、窗口 PARTITION BY / ORDER BY 列。
2. `EXPLAIN`，标注 REDISTRIBUTE、Sort、Window、Gather 顺序与估算行数。
3. 判断 PARTITION BY 是否与分布键一致；不一致时评估改写或 staging。
4. 将高选择性谓词下推至基表扫描层。
5. 对比窗口实现与 `GROUP BY`+Join 实现计划。
6. 执行 `ANALYZE` 后重复 2–5。
7. 在 DN 监控临时目录与 IO，确认是否存在 spill（参见大查询落盘文）。
8. 归档最终计划与耗时。

## 九、案例说明

**场景**：`fact_order` 按 `user_id` 分布，需求为按 `user_id` 分区取最近一笔订单明细（`order_time` 最大）。

**初版**：`ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_time DESC)`，外层 `rn=1`；`EXPLAIN` 显示本地窗口，Sort 在分片内，计划可接受。

**变体需求**：改为按 `shop_id` 分区取最近订单；`shop_id` 非分布键。计划出现按 `shop_id` REDISTRIBUTE 后 Sort，行数约为全表级。

**调整**：

1. 增加 `WHERE order_time &gt;= 当前业务窗口`，降低扫描行数；
2. 建立按 `shop_id` HASH 分布的日汇总 staging，分布键与 PARTITION BY 一致；
3. 对 staging `ANALYZE` 后在外层执行窗口。

调整后 REDISTRIBUTE 字节数下降，Sort 输入行数减少。说明窗口函数性能取决于 **分区键与物理分布是否一致**，而非窗口语法本身。

## 十、规范建议

1. SQL 评审表增加字段：窗口 PARTITION BY 列、表分布键、是否一致。
2. 常驻报表保留基线 `EXPLAIN`；大批量加载后强制 `ANALYZE` 再开放查询。
3. 禁止在未经计划验证的情况下，对亿级表使用 `PARTITION BY` 非分布键列的全表窗口。
4. 与 CTE/派生表专题衔接：窗口外层包装子查询时检查谓词下推。

## 小结

GBase 8a 窗口函数的性能由 **PARTITION BY 与分布键关系、ORDER BY 引入的 Sort、前后 Motion** 决定。实施路径：以 `EXPLAIN` 标注窗口算子前的洗牌与排序；优先对齐分布键或缩小扫描行集；在窗口与 `GROUP BY` 方案间做计划对比；通过 `ANALYZE` 与 staging 稳定基数估计。验收以计划文本、各 DN IO 与生产耗时三项为准，写入变更记录供后续报表 SQL 复用。



GBase 8a 窗口函数：分区语义、执行计划与改写边界

评论

热门帖子