GBase新闻
GBase 8a MPP Cluster V9之虚拟集群技术
在MPP集群实际使用过程中,会存在集群规模受限、单集群内无法解决硬件代际差异、集群双活无法实现多个集群的实时数据同步及应用快速切换等管理挑战。面对这些问题,GBase 8a MPP Cluster V9采用虚拟集群技术来解决。
GBase 8a MPP Cluster V9采用的虚拟集群技术是一种资源隔离手段,即将一个大集群进行物理垂直分割,形成多个逻辑子集群,各逻辑子集群可以根据不同业务的存储与计算需求,独立规划与扩展集群规模和计算资源。
虚拟集群为所有的逻辑子集群提供统一的访问入口、统一的元数据视图、统一的资源管理、统一的执行调度、统一的认证和权限管理等;虚拟集群提供集群间的数据交互、数据迁移、数据关联能力;虚拟集群支持集群镜像,镜像集群间表级实时同步,实现数据实时双活,实现T+0级高可用。
应用场景
虚拟集群适用于系统规划建设多套集群,各个集群的业务独立,可以实现各个集群业务的独立管理;虚拟集群包括数据管理、用户管理和集群版本管理;虚拟集群的各个逻辑子集群间可实现透明的数据迁移、数据关联和数据共享。
用户价值
虚拟集群适用于包含相对独立的业务领域或不同分析类型的大数据平台、综合性BI系统、数据仓库和集市系统,不同的应用场景运行在独立的逻辑子集群中,对各逻辑子集群统一管理,既解决多物理集群管理、监控、维护的高成本问题,又能满足不同业务场景的差异化特性,实现资源的最大化利用,增强了集群的扩展能力,维护能力。
虚拟集群特性
虚拟集群把多个MPP集群统一入口和统一管理,实现跨多个MPP集群内数据的融合,整体作为一个逻辑一体化集群使用。集群分层进行管理,分为调度管理集群和虚拟集群。调度管理集群承担整个集群的统一入口和统一管理;虚拟集群承担集群数据的存储和计算功能, 虚拟集群可以无限扩展。通过调度管理集群可以访问大集群中的任何一个虚拟集群中的数据。
统一管理
在集群内部进行虚拟集群划分,在增强集群的扩展能力同时,提供统一的管理视图,集群可以达到千节点规模。
统一入口
用户选择Coordinator cluster中的任意一个Coordinator node作为集群入口。Coordinator node根据用户确定默认VC。
注:coordinator节点存储了所有VC的database和表的元数据。
业务隔离
虚拟集群对集群进行垂直资源隔离,在实际的业务场景中,可以实现不同业务的资源物理隔离。
透明访问
虚拟集群提供统一的访问入口(能够实现对仓库和集市的统一访问入口),应用对多个物理集群的访问对应用是透明的,对应用来说就是一个统一的集群。
虚拟集群VS多集群 + 大集群
虚拟集群相对于其他方案价值点(从用户角度看):
镜像虚拟集群实现双活
镜像虚拟集群间可实现实时数据同步在数据库侧实现双活及更强高可用性:
镜像表数据是主表数据的实时备份,对主表的修改将实时同步到镜像表。
高可用:主表有了镜像关系后,对于SELECT模块相当于主表多出了分片备份。SELECT模块可以利用多出的备份提升SELECT高可用能力。
支持以库为单位创建、删除镜像关系。库下所有表都将创建镜像。库下所有函数、存储过程和视图都会同步在目标库下创建。
镜像集群可用于灾备、读写分离等场景的解决方案。
灾备:支持同城异地部署集群。
读写分离:数据仓库用于数据的分析计算,将结果数据通过镜像集群技术同步到数据集市,供业务系统的实时查询分析。