GBase 8a海量数据导入优化

问题背景  
每日导入10亿条业务日志（约600GB）至GBase 8a集群（16节点）。原采用单文件串行LOAD，耗时5.2小时，频繁触发超时告警，影响次日分析时效。

优化步骤（实操四步法）  
1、数据预处理  
  按“业务日期+区域ID”将原始文件拆分为128个分片（每片≈4.7GB），命名规范：log_20260115_region01.csv  
2、集群参数调优  
  管理节点执行：  
    SET gbase_loader_threads = 64;  
    SET gbase_loader_buffer_size = '1G';  
  确保各数据节点磁盘I/O队列深度≥128  
3、并行加载执行  
  LOAD DATA INFILE '/data/shard_*.csv'  
  INTO TABLE biz_log  
  DISTRIBUTED BY HASH(region_id)  -- 指定分布键，避免数据倾斜  
  PARALLEL 16;                    -- 启用16路并行  
 4、验证与固化  
  执行SHOW LOAD STATUS;监控各节点进度  
  导入后执行ANALYZE TABLE biz_log;更新统计信息  
  将脚本纳入调度系统（如Airflow），固化为标准流程  

成效与价值  
耗时：5.2小时 → 48分钟（提升85%）  
资源：CPU利用率均衡至65%~75%，无单点瓶颈  
业务价值：数据可用时间提前至凌晨2点，支撑早8点报表准时生成  

可复用经验：  
 ✅ 分片数≈节点数×8（经验值）  
 ✅ 分布键选择高频查询字段（如region_id）  
 ✅ 大文件必拆分，避免单点I/O阻塞