GBase 8a
性能调优
文章
常用并行度参数调整提升性能
发表于2024-12-31 10:01:2746次浏览2个评论
线程池并行度参数在采用默认值的情况下,可能会因服务的线程池较小而单个 SOL任务的并行度太高,造成并发场景下后发起的任务无法获得充足的线程池而单线程执行。严重情况下,会造成较多的sys cpu 占用。可以根据实际情况适当调整。
- gcluser_max_thread_in_pool
参数含义为集群层连接集群内各节点 gnode 的连接池中连接线程的数量,即全局连接线程池大小,默认设置为 600。全局线程池使用较少,主要逻辑都走异步 API,通常保持默认值即可。
当集群规模较大、SOL并发任务较多时,如发现连接池的线程数消耗越高,此时需要调整 gcluser_max_thread in_pool 参数,通常建议不超过 2000。取值过大也会造成性能问题。
- gbase_parallel_degree
用于配置单个 SQ 执行时的并行度大小,默认取值为 0,推荐配置为 4~8。值为0时,单 sq1 任务的并行度使用 CPU 核数的一半。当值大于线程池数量时,则使用线程池数量。
如:
gbase_parallel_degree=0,CPU 核数为 32,那么单 sql 的并行度则为 16。
- gbase_loader_parallel_degree
每个加载任务需要多少线程执行,gbase_loader_parallel_degree 参数用于配置单个加载任务在 gnode 上的并行度大小,默认取值为 0,即使用 CPU 核数的一半。推荐配置为 4~8。
值为 0,则使用 CPU 核数一半,当值大于线程池数量时,则使用线程池数量。
- gbase_parallel_max_thread_in_pool
指线程池中的线程总数,用于配置线程池大小,默认为CPU 核数的2倍,在每个服务器上部署1个 gnode 节点的情况下推荐该配置为 CPU 核数的4~8倍。每个任务从线程池中获取线程并执行,当线程池中空闲线程不够时,会新创建1个线程用于执行(内部串行)串行执行。
- thread_pool_size
表示用于接收客户端连接的线程池个数,影响吞吐量。
评论
登录后才可以发表评论
GBase用户51885发表于 2个月前
三人行必有我师
GBase用户51935发表于 2个月前
向大佬学习
热门帖子
- 12025-12-01浏览数:182764
- 22023-05-09浏览数:25062
- 42023-09-25浏览数:18526
- 52020-05-11浏览数:17529