GBase 8a
性能调优
文章
gcluster_load_rebalance_seed参数不同加载场景配置建议
发表于2025-02-27 16:34:5739次浏览1个评论
gcluster_load_rebalance_seed参数说明:该参数是加载任务负载均衡控制参数,默认值:5。集群中加载节点的选择优化可通过此参数进行调整。
调优目的:保证加载任务随机选择执行任务数最少的几个data节点作为数据加载节点。在加载并发较多场景下,可以适当增加该值,从而保证加载任务比较均匀的分布在各个加载data节点上。
1)非压缩文件加载场景
示例:在20个data节点集群中,gcluster_loader_max_data_processors=16的情况下,一次加载任务会随机选择不超过16个data节点作为加载机。
在gcluster_load_rebalance_seed 取默认值5的情况下,如果集群中所有data节点的最小任务数为20,则所有任务数<=25的data节点都可供本次加载任务随机选择为加载节点;
但是<=25的节点个数不足16个时,则使用满足该要求的几个节点作为加载机,因此可以调大gcluster_load_rebalance_seed参数值来扩大可选加载data节点的范围,但建议该参数配置不超过10。
2)压缩文件加载场景
压缩文件只能选择一个data节点作为数据加载节点。因此对于加载数据文件以压缩文件为主的现场,设置gcluster_load_rebalance_seed=1 能避免任务集中在1个data节点的情况。
热门帖子
- 12025-12-01浏览数:182764
- 22023-05-09浏览数:25062
- 42023-09-25浏览数:18526
- 52020-05-11浏览数:17529