GBase 8a 数据倾斜排查：REDISTRIBUTE 拖尾与本地热点

MPP 集群里常遇到：整体 SQL 不快不慢，但总有 1～2 个数据节点 CPU、磁盘长期顶满，其他节点却很闲。8a 上这往往是 分布键倾斜 或 重分布后局部热点，不是单纯「SQL 写得丑」。

倾斜和「全集群慢」不同：前者是 Motion 后聚合/排序集中在少数节点；后者可能是锁、统计信息、全表扫。本文给一套在 8a 上可落地的倾斜判断与缓解思路。

一、倾斜在计划与现象上长什么样

现象	可能原因
某节点 CPU 长期 90%+，同集群其他节点 20%	分布键取值极度不均（如按「省份」但 80% 行是同一省）
EXPLAIN 有 REDISTRIBUTE，执行时单节点 IO 飙高	重分布键基数低，哈希后仍堆在少数 bucket
GROUP BY 后某节点内存、临时文件暴涨	本地聚合前数据已倾斜
扩容节点后整体仍慢	旧数据未重分布，倾斜键未变

在 gccli 或监控侧对比各 Data Node 的 CPU、磁盘、网络（若有节点级监控），先确认是 单点热点 而非全局资源打满。

二、分布键与表设计：倾斜从哪来

8a 表按 分布键 哈希到各节点。键选不好，再优雅的 SQL 也会「一边倒」：

1. 低基数键：性别、是否有效、少数几个枚举值 → 哈希后仍严重不均。
2. 业务天然倾斜：头部客户 ID、默认机构号占绝大多数行。
3. 与 Join 键不一致：为对齐 Join 做 REDISTRIBUTE，若键本身倾斜，洗牌后仍倾斜。
4. 加载顺序/默认分区：大量行落入同一分区或同一节点（与分区表默认分区堆积类似）。

设计时优先：高基数、业务均匀 的键（如 user_id、order_id）；维表极小可考虑 复制表（视版本与容量），避免大表 BROADCAST 或小表被估错。

-- 查看表分布键（语法以现场为准）
SHOW CREATE TABLE fact_orders;

三、用 SQL 粗查倾斜键（示例思路）

在维护窗口对可疑键做 节点侧行数/ distinct 对比（具体视图名因版本而异，以下为思路）：

-- 示例：按分布键分组看行数是否极端不均（在协调节点执行，大表需采样）
SELECT cust_id, COUNT(*) AS cnt
FROM fact_orders
GROUP BY cust_id
ORDER BY cnt DESC
LIMIT 20;

若 Top1 行数占总行数可观比例，Join/聚合在该键上极易单节点拖尾。再结合：

EXPLAIN
SELECT region, SUM(amt)
FROM fact_orders o
JOIN dim_shop s ON o.shop_id = s.shop_id
WHERE o.dt >= DATE '2026-05-01'
GROUP BY region;

看 fact_orders 扫描后是否 REDISTRIBUTE，以及是否本可对齐分布键却未对齐。

四、案例：按 shop_id 分布导致单节点聚合

场景：fact_orders 按 shop_id 分布，约 60% 订单来自少数连锁 shop_id；报表 GROUP BY region 需 Join 维表并重分布。执行时 节点 3 CPU 持续 95%，其他节点 30% 左右，耗时 8 分钟。

EXPLAIN 要点：

• fact_orders → REDISTRIBUTE on region（或 Join 键）
• 重分布后 Gather / 聚合集中在部分节点

处理顺序：

1. 评估改分布键为 order_id 或 cust_id（更高基数），重建或新建表迁移（变更窗口）
2. 维表 dim_shop 若很小，评估 复制表，Join 避免大表 REDISTRIBUTE
3. 对倾斜键做 ANALYZE，避免优化器误选广播/重分布（见统计信息专文）
4. SQL 层：先过滤再 Join，减少参与 Motion 的行数

结果：重分布后各节点负载差距缩小，耗时降到 1 分钟内级（视数据量而定）。

五、与慢 SQL、分区、统计的衔接

[1] 是否单节点热点？是 → 本文学分布键/倾斜
[2] 是否全节点都慢？→ 慢 SQL 排查（锁、计划、Motion）
[3] 大表是否分区裁剪失效？→ 分区专文
[4] EXPLAIN 行数离谱？→ ANALYZE
[5] 改分布键前评估迁移成本与下游 SQL 影响

小结

GBase 8a 的性能调优里，数据倾斜要单独成类：看节点级资源、看分布键基数与业务分布、看 REDISTRIBUTE 后是否仍堆在少数节点。通过改分布键、复制小维表、对齐 Join 与加载策略，往往比盲目加索引更有效。建议把「倾斜键 TopN 行数占比 + EXPLAIN Motion」截图入库，方便扩容与改表决策。