GBase 8a
其他
问答
通过load data命令导入tpch工具生成的数据时,在导入过程中,速度变慢
发表于2024-05-09 15:23:0969次浏览1个评论
为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
【GBase版本】:9.5.3.14.121230
【操作系统】:rhel 7.9
【CPU】:Intel(R) Corporation Xeon(R) Gold 6336Y 2.40GHz
【问题描述】*:
【组网】是3节点,每个节点1.92T*6盘符组成的raid5,内存为256G,网络是25G*2组成的bond4,ftp服务器是节点之一,
【命令形式】
load data infile 'ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.1,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.2,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.3,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.4,ftp://ftp01:123456@0.0.0.0/tpch/lineitem.tbl.5' into table lineitem fields terminated by '|' lines terminated by '\n';
【现象】通过load data命令导入tpch工具生成的3tb数据, 时刚开始速度大概能达到700-800M,但是后来每个节点上数据传输都会变慢,大概2小时左右之后,非ftp节点速度仅只有20M左右(检查网络硬件都无问题)
【截图】
1、tpch工具生成的数据,存于nvme盘符

2、现象截图

评论
登录后才可以发表评论

GBase社区管理员发表于 2年前
最佳回答
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526
加载大致流程如下
集群库连接数据源,获取数据文件数量和大小,拆分任务给几个数据分发节点
每个数据分发节点连接数据源,读取自己负责的文件
每个数据分发节点,根据规则,将数据发送到整个集群数据节点
可自行根据加载整个数据流程,逐个分析遇到过的导致加载速度变慢
OS环境原因:
1 磁盘问题 是否部署或运行了其它程序,导致系统负载高
2 网络问题:性能变慢时可以用wget/curl获取文件进行测试
数据库原因:
1 并发数,测试时尽量保证集群不要执行其他sql语句,如果并发太多,会导致load串行