953.27.20加载gz文件orc文件性能对比

测试环境：3（coor+data）节点集群p 1 d 1 千兆网络

集群版本：9.5.3.27.20_patch.16

表结构：

create table lineorder_hash (

lo_orderkey        bigint,

lo_linenumber      int,

lo_custkey         int,

lo_partkey         int,

lo_suppkey         int,

lo_orderdate       int,

lo_orderpriority   varchar(15) comment 'lookup',

lo_shippriority    varchar(1) comment 'lookup',

lo_quantity        int,

lo_extendedprice   int,

lo_ordtotalprice   int,

lo_discount        int,

lo_revenue         int,

lo_supplycost      int,

lo_tax             int,

lo_commitdate      int,

lo_shipmode        varchar(10) comment 'lookup'

)distributed by (‘lo_orderkey’) ;

原始数据文件大小（平文本）：59G

基础数据量：600037902

对比结论

rmt导出平文本：

导出语句：rmt:SELECT * FROM lineorder_hash INTO OUTFILE '/opt/lineorder_hash.txt' WRITEMODE BY NORMAL;

导出文件大小59G

压缩比：无压缩

时间：00:14:07.12

加载时间：00:10:13.80

指定orc格式导出

导出语句：select * from lineorder_hash into outfile '/opt/lineorder_hash.orc' WRITEMODE BY NORMAL

注：采用本地导出后，未导出到hdfs环境，orc格式不支持rmt导出

导出文件大小：13025668k

压缩比：4.53：1

时间：01:55:39.93

加载时间： 00:03:46.05

指定gz格式导出

注：采用本地导出后，未导出到hdfs环境，orc格式不支持rmt导出

导出语句：SELECT * FROM lineorder_hash INTO OUTFILE '/opt/lineorder_hash.gz' WRITEMODE BY NORMAL

导出文件大小：21106352k

压缩比：2.8：1

时间：00:16:54.91

加载时间：00:29:13.33

注：gz压缩文件加载是单点执行