GBase新闻

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

GBase 8a MPP Cluster V9功能特性解析

发布时间:2023-04-23



GBASE南大通用自主研发的GBase 8a MPP Cluster是大数据时代成熟的分析型MPP数据库,最新GBase 8a MPP Cluster V9版本虚拟集群具有联邦构架、大规模并行计算、海量数据压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、高效加载等技术特征。能满足各个数据密集型行业日益增大的数据分析、数据挖掘、数据备份和即席查询等需求的能力。


GBase 8a MPP Cluster V9虚拟集群新特性


高可用进一步增强

GBase 8a MPP Cluster拥有多级别的高可用技术,包括:核心进程级别高可用技术,GCMonit组件实时监测服务程序的运行状态, 保证服务程序健康运行;节点级别高可用技术,保证数据一致性。

新版本在集群具有多级别高可用技术的基础上,使用虚拟集群镜像技术,实现镜像集群间的实时数据一致性,在数据库侧实现双活及更强高可用性,为集群灾备、数据仓库+数据集市的读写分离提供了可选方案。


虚拟集群

GBase 8a MPP Cluste虚拟集群极大提升集群可管理性,单套集群规模可达上千节点。以大规模集群为基础开发,一个集群中包含多个VC。各VC在整个集群范围内独立运行,共享统一的入口。权限许可的情况下,各虚拟集群间可以相互访问。


image.png



统一管理

在集群内部进行虚拟集群划分,在增强集群的扩展能力同时,提供统一的管理视图,集群可以达到千节点规模。


统一入口

用户选择Coordinator cluster中的任意一个Coordinator node作为集群入口。Coordinator node根据用户确定默认VC。


image.png


业务隔离

GBase 8a MPP Cluste虚拟集群对集群进行垂直资源隔离,在实际的业务场景中,可以实现不同业务的资源物理隔离;


透明访问

提供统一的访问入口(能够实现对仓库和集市的统一访问入口),应用对多个物理集群的访问对应用是透明的,对应用来说就是一个统一的集群。


数据安全进一步提升

GBase 8a MPP Cluster数据加密是提供对数据库落地数据的加密功能,用来满足用户的安全需求,提高系统的安全性。数据加密按照数据文件中的DC数据块为最小单位进行,可以实现表级或者列级不同粒度的加密要求。


数据加密

数据加密


动态数据脱敏

动态数据脱敏并不会真正改动表中存储的实际数据,只是在查询的时候应用该特性控制查询返回的数据;动态数据脱敏是否启用受当前用户权限影响,拥有unmask权限的用户不受脱敏规则影响可以访问实际数据,没有unmask权限的用户受脱敏规则影响只能访问到脱敏后的数据。


动态数据脱敏

动态数据脱敏


非root用户安装部署、运行

为了方便用户处理,提供一键部署脚本SetSysEnv.py,通过该脚本来处理root下一系列操作。在集群部署前,用户需要将该脚本拷贝到集群所有节点(复合节点仅需执行一次),然后,在各个节点的root用户下执行该脚本即可。非root用户安装、运行功能,满足系统级的安全要求。


非root用户安装部署、运行

非root用户安装部署、运行


GBase 8a MPP Cluster V9其他新功能及改进


支持多列哈希分布

实际应用中有使用多列哈希作为主键的情况,针对这种情况,表迁移到GBase 8a之后,可以使用这些主键的列作为HASH列。当主键与外键进行连接的时候,也是多列全部进行连接,可以在各个节点上直接进行。

多列哈希分布可以解决数据分布不均匀问题,进一步规避单节点的数据存储和运算倾斜造成单点瓶颈。


支持GB18030、UTF8MB4字符集

新版本提供了对GB18030的四字节编码部分、UTF8MB4编码的扩充支持,能够解决客户系统中遇到的一些生、偏、难字的问题,以及适应多行业迫切需要的人名、地名用字问题。


性能提升

新版本在以下方面进行了优化,使性能得以大幅提升:

● 批量小文件数据加载性能优化

● OLAP函数并行优化

● 元数据合并


分区表

分区是数据库领域中处理大数据量的一种有效的技术手段,通过使用分区,可增强数据库的可用性、降低维护成本、均衡磁盘I/O,并有效改善查询性能。


表空间

GBase 8a的表空间功能实现了Express引擎表的数据存储路径用户可配置,一个表空间表示一个数据存储路径。表空间的创建规则是每个库可以存在多个表空间,只有一个默认表空间,一个表空间可以多个表使用,但一个表只能属于一个表空间。


自增列

自增列是指定auto_increment属性的列,自增列的列值单调递增(不保证连续)。自增列支持在以下数据类型的列上使用:tinyint、smallint、int、bigint。自增列可以唯一识别表中每一条记录,可方便用于查询、修改、删除等操作。自增列可以唯一识别表中每一条记录,可方便用于查询、修改、删除等操作。