GBase 8a
其他
问答

通过load data命令导入tpch工具生成的数据时,在导入过程中,速度变慢

发表于2024-05-09 15:23:0969次浏览1个评论

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

【GBase版本】:9.5.3.14.121230

【操作系统】:rhel 7.9

【CPU】:Intel(R) Corporation Xeon(R) Gold 6336Y 2.40GHz

【问题描述】*:

【组网】是3节点,每个节点1.92T*6盘符组成的raid5,内存为256G,网络是25G*2组成的bond4,ftp服务器是节点之一,

【命令形式】

load data infile 'ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.1,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.2,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.3,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.4,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.5' into table lineitem fields terminated by '|' lines terminated by '\n';

 

【现象】通过load data命令导入tpch工具生成的3tb数据, 时刚开始速度大概能达到700-800M,但是后来每个节点上数据传输都会变慢,大概2小时左右之后,非ftp节点速度仅只有20M左右(检查网络硬件都无问题)

【截图】

1、tpch工具生成的数据,存于nvme盘符

2、现象截图

评论

登录后才可以发表评论
用户头像
GBase社区管理员发表于 2年前

加载大致流程如下

  • 集群库连接数据源,获取数据文件数量和大小,拆分任务给几个数据分发节点

  • 每个数据分发节点连接数据源,读取自己负责的文件

  • 每个数据分发节点,根据规则,将数据发送到整个集群数据节点

    可自行根据加载整个数据流程,逐个分析遇到过的导致加载速度变慢

OS环境原因:

1 磁盘问题 是否部署或运行了其它程序,导致系统负载高  

2 网络问题:性能变慢时可以用wget/curl获取文件进行测试 

  数据库原因:

1 并发数,测试时尽量保证集群不要执行其他sql语句,如果并发太多,会导致load串行

最佳回答