Hash分布键的选取策略

HASH分布表指的是按选定数据列的hash值，将数据分散到不同节点上。相同Hash值的数据存放在同一个节点上。选择策略如下：

1.数据倾斜尽量小

Hash分布列选取不当会导致数据的严重倾斜，即大量的数据集中到一个实例上，形成木桶效应。部分节点占用空间过大甚至磁盘写满，而另一些节点使用率过低。在进行表关联计算时，会由于数据量最多的节点计算过慢影响整体计算时间

2.唯一值尽量多

在选择Hash列时尽量选择身份证号，账号，手机号等能表达唯一对象的列作为Hash列，目的是减少数据倾斜。如果该列只有20个不同的值，那么在节点数超过20的环境下，部分节点肯定不会有任何数据。

3.关联聚合列

选择频繁Join或Group By的列，减少数据在数据节点之间的频繁搬迁，减少网络带宽消耗，有助于提高查询效率