南大通用GBase 8a之通过量化分析节点层数据集中度评估数据在DC包中的分布情况

主要解决问题

（1）  在SQL性能分析中，横向节点间表的数据分布情况

           可依赖这篇文章所述的方法（https://www.gbase.cn/community/post/4935）

           但当需要分析表在某个节点上的数据分布情况

           就鲜有分析渠道了【即纵向的，单表单分片的，数据在数据文件里（DC包里）的分布】

部署方式

（1） 新建localbalance目录，将 conf.ini和localbalance文件放入其中，

          并赋可执行权限 chmod +x localbalance

（2） conf.ini文件样例：

[default]
nodelist=192.168.1.5                                                                     --分析data节点ip （只允许填一个）
user=gbase                                                                                   --数据库用户名 
password='**************'                                                          --密码 
database=test                                                                                --默认登录数据库
port=5050                                                                                       --节点层端口 
sql=select * from lineorder_n1 a where lo_shipmode='RAIL'        --sql语句注意只接受select语句，sql尽量只包含筛选数据的条件，表为_nX （分片表）

使用方式 
（1） 配置好以后，直接执行 ./localbalance 即可。 

演示样例

（1）以下样例为分析lineorder表，货运方式为铁路的数据，在192.168.1.5节点层上，数据在数据文件中的分布情况

表内数据量：
gbase> select count(*) from test.lineorder_n1;
+----------+
| count(*) |
+----------+
| 34276944 |
+----------+
1 row in set (Elapsed: 00:00:00.01)

条件命中数据量：
gbase> select count(*) from test.lineorder_n1 a where lo_shipmode='RAIL';
+----------+
| count(*) |
+----------+
| 13707120 |
+----------+
1 row in set (Elapsed: 00:00:00.70)

该SQL命中的数据在数据文件中的集中度为：
[gbase@locahost localbalance]$ ./localbalance
该数据的集中度为: 0.01340384

注：该值比较低，说明命中数据在数据文件中分布比较离散

然后，将该批数据删除后再重新批量插入：
gbase> create table  tmp as select * from lineorder a where lo_shipmode='RAIL';
Query OK, 13707120 rows affected (Elapsed: 00:01:10.79)

gbase> delete from lineorder a where lo_shipmode='RAIL';
Query OK, 13707120 rows affected (Elapsed: 00:00:08.67)

gbase> insert into lineorder select * from tmp;
Query OK, 13707120 rows affected (Elapsed: 00:00:31.72)
Records: 13707120  Duplicates: 0  Warnings: 0 

同样的，再次，计算该SQL命中的数据在数据文件中的集中度为： 
[gbase@locahost localbalance]$ ./localbalance
该数据的集中度为: 0.04624894

注：数值提升了3.5倍

再次，做同样查询，性能理论上也应该提升3.5倍，验证一下，果然。（刨去建表插数的相同时间）
gbase> create table  tmp2 as select * from lineorder a where lo_shipmode='RAIL';
Query OK, 13707120 rows affected (Elapsed: 00:00:32.59)

无论是从测试还是量化分析的角度看，说明数据都更加集中了。

5. 参考文件

（1） 注： 该版本为centos8环境下编译。

（2） 文件下载： 

通过网盘分享的文件：localbalance.zip
链接: https://pan.baidu.com/s/1bzgTRwqiqctwbyCTCCBpJw 提取码: 8rsf