导入 TB 级 CSV 时，如何组合配置 --parallel、--batch-size、--error-limit 与 --sort-buffer？

在线等

一、先明确四个参数的核心作用：如图所示：
二、参数组合的核心逻辑
TB级数据量下，参数配置需要遵循三个优先级原则：

内存优先校验：总排序内存占用 = --parallel * --sort-buffer，不得超过集群总可用内存的70%，避免OOM或触发Swap导致性能骤降。
并行度匹配集群能力：--parallel不建议超过集群总CPU核心数的70%，线程过多会导致上下文切换开销远大于并行收益。
容错性匹配业务需求：TB级数据几乎必然存在少量脏数据，--error-limit不建议设为0，需结合数据质量调整，同时建议搭配--error-file参数导出错误行，避免数据丢失。
三、场景化组合配置方案
场景1：通用最优配置（适配80%的TB级导入场景）
适用条件：8节点以上集群、每节点16C32G内存、CSV数据质量中等、目标表带索引/分区

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 8 \
--batch-size 5000 \
--sort-buffer 2G \
--error-limit 200000 \
--error-file /log/gbase_load_error_$(date +%Y%m%d).log \
--charset UTF8 \
--fields-terminated-by ',' \
--enclosed-by '"' \
--ignore-rows 1
配置说明：

parallel=8：匹配8节点集群，每个节点分配1个导入线程，CPU占用控制在60%左右，避免资源争抢
batch-size=5000：假设单行数据1KB，每批次仅5MB，提交开销低，出错回滚代价小
sort-buffer=2G：每个线程2G排序内存，8线程共占用16G，占单节点32G内存的50%，留足内存给排序和系统进程
error-limit=20万：允许20万行错误，对应TB级数据约0.02%的容错率，兼顾数据质量和导入成功率
场景2：高性能配置（资源充足，追求最快速度）
适用条件：20节点以上集群、每节点32C64G内存、CSV无索引/分区、数据质量高

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 32 \
--batch-size 10000 \
--sort-buffer 512M \
--error-limit 50000 \
--compress \
--charset UTF8 \
--fields-terminated-by ',' \
--ignore-rows 1
配置说明：

parallel=32：拉满多节点多核心资源，CPU占用控制在70%左右，无资源争抢
batch-size=10000：减少提交次数，导入吞吐量提升30%以上
sort-buffer=512M：无索引/分区无需大量排序，节省内存给并行线程
增加--compress：CSV文本压缩后IO开销降低30%以上，导入速度提升明显
场景3：低资源/高容错配置（集群资源有限，优先保证导入不中断）
适用条件：4节点以内集群、每节点8C16G内存、CSV脏数据较多

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 4 \
--batch-size 2000 \
--sort-buffer 1G \
--error-limit 1000000 \
--error-file /log/gbase_load_error_$(date +%Y%m%d).log \
--charset UTF8 \
--fields-terminated-by ',' \
--ignore-rows 1
配置说明：

parallel=4：匹配4节点集群，避免CPU争抢导致卡顿
batch-size=2000：降低单批次内存占用，出错回滚代价小
error-limit=100万：允许更高比例的脏数据，避免导入中途终止，错误行导出后后续清洗即可

场景化组合配置方案
场景1：通用最优配置（适配80%的TB级导入场景）
适用条件：8节点以上集群、每节点16C32G内存、CSV数据质量中等、目标表带索引/分区

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 8 \
--batch-size 5000 \
--sort-buffer 2G \
--error-limit 200000 \
--error-file /log/gbase_load_error_$(date +%Y%m%d).log \
--charset UTF8 \
--fields-terminated-by ',' \
--enclosed-by '"' \
--ignore-rows 1
配置说明：

parallel=8：匹配8节点集群，每个节点分配1个导入线程，CPU占用控制在60%左右，避免资源争抢
batch-size=5000：假设单行数据1KB，每批次仅5MB，提交开销低，出错回滚代价小
sort-buffer=2G：每个线程2G排序内存，8线程共占用16G，占单节点32G内存的50%，留足内存给排序和系统进程
error-limit=20万：允许20万行错误，对应TB级数据约0.02%的容错率，兼顾数据质量和导入成功率
场景2：高性能配置（资源充足，追求最快速度）
适用条件：20节点以上集群、每节点32C64G内存、CSV无索引/分区、数据质量高

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 32 \
--batch-size 10000 \
--sort-buffer 512M \
--error-limit 50000 \
--compress \
--charset UTF8 \
--fields-terminated-by ',' \
--ignore-rows 1
配置说明：

parallel=32：拉满多节点多核心资源，CPU占用控制在70%左右，无资源争抢
batch-size=10000：减少提交次数，导入吞吐量提升30%以上
sort-buffer=512M：无索引/分区无需大量排序，节省内存给并行线程
增加--compress：CSV文本压缩后IO开销降低30%以上，导入速度提升明显
场景3：低资源/高容错配置（集群资源有限，优先保证导入不中断）
适用条件：4节点以内集群、每节点8C16G内存、CSV脏数据较多

查看全部
gbase_load -h 集群VIP -u 用户名 -p 密码 -D 业务库 -t 目标表 \
-f /data/tb_level_data.csv \
--parallel 4 \
--batch-size 2000 \
--sort-buffer 1G \
--error-limit 1000000 \
--error-file /log/gbase_load_error_$(date +%Y%m%d).log \
--charset UTF8 \
--fields-terminated-by ',' \
--ignore-rows 1
配置说明：

parallel=4：匹配4节点集群，避免CPU争抢导致卡顿
batch-size=2000：降低单批次内存占用，出错回滚代价小
error-limit=100万：允许更高比例的脏数据，避免导入中途终止，错误行导出后后续清洗即可

1

2

3

坐等大佬解析。

学习中，还不清楚。