gabse8a业务层加载策略优化

GBase 8a 加载调优除了系统参数调整和集群内部参数调整外还可以通过优化业务策略提高加载性能：

合并小文件，优选大文件加载

问题核心：大量小文件（<100MB）会导致频繁的文件打开 / 关闭、元数据交互，消耗集群资源。优化方案：将小文件合并为1GB~10GB 的大文件，减少文件处理次数。

统一文件格式，减少解析开销

优先选择CSV 格式，避免 JSON、XML 等复杂嵌套格式。

预处理脏数据，降低加载容错成本

加载前通过脚本过滤无效数据（如空值、格式错误值），减少加载时因脏数据触发的校验、回滚操作。

合理分区，实现分区级并行加载
对大表按时间、地域等维度分区，加载时指定分区，避免全表扫描和数据重分布

临时删除非主键索引
索引会增加数据写入时的维护开销，加载前删除非主键索引，加载完成后重建，性能可提升 30%~50%。