GBase 8a
性能调优
文章

GBase 8a 性能优化方法分享(11)加载参数优化

发表于2024-10-08 17:07:2046次浏览1个评论

在测试中多张表并发加载,在未做优化的情况下,如果一个进程分到的线程数较少,如果其他任务结束以后这个进程的线程数也不会增加,性能会很差。

并发加载时加载任务所分的线程是从gbase_parallel_max_thread_in_pool这个参数配置的线程池中划分。例如测试中线程池配置的总数为CPU核数的四倍(24*4=96),故在十条加载命令中根据数据文件的大小分配不同的线程数,保证每个任务都可以最高效加载。在加载命令中加上parallel 线程数,就可以实现控制加载任务的线程数。

例:

load data infile ' datapath ' into table table_name fields terminated by ‘,’ parallel 线程数

注意:

在parallel参数使用时需要特别注意,数据库内所有任务的总线程数(查询、加载等)不能超过gbase_parallel_max_thread_in_pool参数限制的总线程数。

加载中需要注意的其他优化点:加载机的个数及加载机的网络出口带宽;加载机与节点机各个主机之间的网络拓扑是否合理,比如多级交换之间是否存在网络瓶颈;

优化效果:多表可以达到每台加载机的最大网络带宽,即3.6T/小时。

评论

登录后才可以发表评论
白芷发表于 2个月前
继续努力