GBase 8a
其他
文章
GBase 8a MPP 虚拟集群(VC)之间数据交换及join原理简介
发表于2024-07-03 10:04:2373次浏览1个评论
VC与VC间数据交换原理
GBase 8a MPP Cluster的单个集群内部和VC与VC之间的数据交换,使用的是内部DTS传输服务,DTS服务的主要特点是:
1) 高效数据传输,底层内部传输,每个计算节点可以实现1对1、1对多、多对1数据传输;
2) 对用户透明,不需要用户关注底层实现过程;
3) 数据传输同时保证事务一致性;
1. 下图是VC2向VC1发送数据的举例说明:
1) 向管理节点下发insert into vc1.db1.table1 select * from vc2.db2.tb2的SQL;
2) 管理节点集群具有所有表的元数据信息,因此可以直接下发分布式任务给VC2的各个数据节点,VC2 向VC1各节点直接发送数据。

2. 跨VC的join查询、union等场景,也涉及到跨VC的数据搬运,集群内部使用DTS服务完成(这个过程我们称作动态Hash 重分布),对用户无感知:

评论
登录后才可以发表评论
GBase用户28017发表于 5个月前
谢谢分享。
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526