GBase 8a
运维管理
文章

南大通用 GBase 8a 调整RsyncTool工具同步gbase表并发数量方法

发表于2024-01-30 18:57:38157次浏览1个评论

1.RsyncTool工具表并发原理说明

GBase8a提供RsyncTool工具用来同步相同架构(节点数、主分片数相同)的两套集群间的数据,同步采用物理同步的方式,即对数据库数据文件中的DataCell(DC为最小逻辑存储单位)级别粒度进行元数据差异检查,找到元数据差异部分并将主集群的DC发送给备集群,备集群接收到主集群发送的DC数据块后进行数据crc校验,并将校验值与主集群传送过来dc中存储的校验值进行比对,校验值匹配的情况下,备集群将dc落地到存储上进行持久化。
RsyncTool的同步是点对点形式进行的,即主集群中的1个节点对应备集群的1个节点,配对的主备集群节点间进行dc数据的发送和接收检验及落地。
主集群节点上的syncserver服务为数据的提供端服务,备集群节点通过调度启动gc_sync_client客户端连接主集群的syncserver服务发起数据同步并接受主集群节点发送过来的dc数据,集群中所有的节点的所有分片同时进行上述工作。

如上图所示,目前9节点SATA集群的架构为p 2 d 1(每个节点2个主分片,每个主分片1个副本),因此每个节点上一张表会有4个分片表存在(2个主分片和2个副本分片),当备集群同步数据时,每个分片会启动一个gc_sync_client服务端连接主集群对应节点的syncserver端获取同步的数据,因此当有十个表同时进行数据同步是就会同时启动40个gc_sync_client进程进行数据同步,可能会造成CPU使用率高的问题。
可以通过调整启动RsyncTool工具时指定并发同步表的数量来减轻CPU在主备同步时的负荷(备集群的CPU在进行主备同步时主要负荷为DC数据的校验),具体调整的方法如下。

2.调整配置文件m2s.cfg和s2m.cfg:

目前的表并发同步数量是10,可以调整为5或者其他值,降低并发同步表的数据量,从而降低同步时备集群启动gc_sync_client进程的数量,达到降低CPU负荷的效果。

评论

登录后才可以发表评论
崔哥发表于 2个月前
闻道巴山里,春船正好行。都将百年兴,一望九江城。水槛温江口,茅堂石笋西。移船先主庙,洗药浣沙溪。设道春来好,狂风大放颠。吹花随水去,翻却钓鱼船。