GBase 8a
性能调优
文章
GBase 8a 性能优化方法分享(11)加载参数优化
发表于2024-10-08 17:07:2046次浏览1个评论
在测试中多张表并发加载,在未做优化的情况下,如果一个进程分到的线程数较少,如果其他任务结束以后这个进程的线程数也不会增加,性能会很差。
并发加载时加载任务所分的线程是从gbase_parallel_max_thread_in_pool这个参数配置的线程池中划分。例如测试中线程池配置的总数为CPU核数的四倍(24*4=96),故在十条加载命令中根据数据文件的大小分配不同的线程数,保证每个任务都可以最高效加载。在加载命令中加上parallel 线程数,就可以实现控制加载任务的线程数。
例:
load data infile ' datapath ' into table table_name fields terminated by ‘,’ parallel 线程数
注意:
在parallel参数使用时需要特别注意,数据库内所有任务的总线程数(查询、加载等)不能超过gbase_parallel_max_thread_in_pool参数限制的总线程数。
加载中需要注意的其他优化点:加载机的个数及加载机的网络出口带宽;加载机与节点机各个主机之间的网络拓扑是否合理,比如多级交换之间是否存在网络瓶颈;
优化效果:多表可以达到每台加载机的最大网络带宽,即3.6T/小时。
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526