GBase 8a
性能调优
文章

gcluster_load_rebalance_seed参数不同加载场景配置建议

发表于2025-02-27 16:34:5739次浏览1个评论

gcluster_load_rebalance_seed参数说明:该参数是加载任务负载均衡控制参数,默认值:5。集群中加载节点的选择优化可通过此参数进行调整。
调优目的:保证加载任务随机选择执行任务数最少的几个data节点作为数据加载节点。在加载并发较多场景下,可以适当增加该值,从而保证加载任务比较均匀的分布在各个加载data节点上。
1)非压缩文件加载场景
示例:在20个data节点集群中,gcluster_loader_max_data_processors=16的情况下,一次加载任务会随机选择不超过16个data节点作为加载机。
在gcluster_load_rebalance_seed 取默认值5的情况下,如果集群中所有data节点的最小任务数为20,则所有任务数<=25的data节点都可供本次加载任务随机选择为加载节点;
但是<=25的节点个数不足16个时,则使用满足该要求的几个节点作为加载机,因此可以调大gcluster_load_rebalance_seed参数值来扩大可选加载data节点的范围,但建议该参数配置不超过10。

2)压缩文件加载场景
压缩文件只能选择一个data节点作为数据加载节点。因此对于加载数据文件以压缩文件为主的现场,设置gcluster_load_rebalance_seed=1 能避免任务集中在1个data节点的情况。

评论

登录后才可以发表评论
崔哥发表于 5个月前
乔木生云气。访中兴、英雄陈迹,暗追前事。战舰东风慳借便,梦断神州故里。旋小筑、吴宫闲地。华表月明归夜鹤,叹当时、花竹今如此。枝上露,溅清泪。遨头小簇行春队。步苍苔、寻幽别坞,问梅开未。重唱梅边新度曲,催发寒梢冻蕊。此心与、东君同意。后不如今今非昔,两无言、相对沧浪水。怀此恨,寄残醉。