GBase 8a MPP列存的特点

GBase 8a MPP 是南大通用自研的Shared Nothing 分布式列存 OLAP 数据库，核心是 “列式存储 + MPP 并行 + 高压缩 + 智能索引 + 弹性扩展”，面向 PB 级数据仓库与大规模分析场景。

一、核心架构（MPP + 列存）

• 架构模式：标准Shared Nothing 联邦架构，无共享存储，节点对等，支持4096 节点在线扩容，性能 / 容量线性增长。

• 组件构成

  • GCluster（调度节点）：接收 SQL、生成分布式执行计划、分发任务、汇总结果。

  • GNode（数据 / 计算节点）：列式存储引擎，负责本地数据存储、并行计算、压缩 / 索引维护；单节点支持50–100TB裸数据。

  • GCWare（管理节点）：集群元数据、节点状态、故障检测、副本同步、高可用管理。

• 数据分布：表按Hash/Random分布键打散至多节点，实现本地计算、数据本地化，减少网络传输。

二、列式存储引擎（核心特性）

1. 纯列式存储

• 数据按列独立存储，同列同类型数据连续存放；分析查询仅读取必要列，I/O 降低 90%+，远优于行存。

• 支持列存 / 行存列混合，适配不同表场景（大表列存、小表行存）。

2. 超高压缩比（5:1～30:1）

• 同列数据类型一致、值相似，采用专用压缩算法（如字典、RLE、LZO），压缩比普遍 5–10 倍，峰值可达20–40 倍，大幅节省存储与 I/O。

• 压缩对用户透明，查询时按需解压，不影响 SQL 使用。

3. 智能粗粒度索引（免维护）

• 自动为每列 ** 数据块（页）** 建立统计索引（最大 / 最小、基数、空值数），无人工维护，索引体积小。

• 查询时先通过索引粗粒度过滤，跳过不满足条件的数据块，大幅减少扫描范围，亿级数据秒级响应天津南大通用数据技术股份有限公司。

4. 延迟物化 + 向量执行

• 延迟物化：过滤 / 聚合前不整行组装，仅处理必要列，减少内存占用与计算量。

• 向量执行：按批量数据块处理（而非单行），利用 CPU SIMD 指令，提升缓存命中率与计算效率。

三、分布式并行计算能力

• 全链路并行：数据加载（>30TB / 小时）、查询、聚合、排序、Join 均分布式并行，跨节点协同天津南大通用数据技术股份有限公司。

• SMP+MPP 双层并行：节点内多核 SMP 并行，节点间MPP 分布式并行，充分利用硬件资源。

• 分布式优化器：基于代价的 CBO，自动生成最优分布式计划，支持跨节点 Join / 聚合，百亿级数据秒级响应。

四、高可用与可靠性

• 多副本强一致：数据默认3 副本，跨节点存储，故障自动切换，数据零丢失。

• 双活 / 跨城容灾：支持双活集群、跨域同步，满足金融级高可用（RPO=0、RTO<30s）。

• 在线扩容 / 缩容：新增节点自动均衡数据，业务无感知，无需停机。

五、国产化与生态兼容

• 全栈国产化适配：支持海光 / 鲲鹏 / 飞腾 / 申威 / 龙芯芯片，中标麒麟 / 银河麒麟 / 统信 OS，达梦 / 人大金仓等中间件。

• SQL 兼容：高度兼容MySQL 语法，支持标准 SQL-92/99，迁移成本低。

• 多数据源接入：支持 Oracle/MySQL/Hive/Spark/Kafka 等数据导入，适配主流 ETL 工具天津南大通用数据技术股份有限公司。

六、核心优势总结

• 存储省：压缩比5–30 倍，PB 级数据低成本存储。

• 查询快：列存 + 智能索引 + 并行计算，百亿 / 千亿级数据秒级响应。

• 扩展强：4096 节点在线扩展，性能线性增长，支撑 **15PB+** 数据。

• 稳可靠：多副本 + 双活 + 跨城容灾，金融级高可用。

• 易迁移：MySQL 兼容 + 国产化适配，平滑迁移至国产数仓。

七、典型适用场景

• 企业级数据仓库（EDW）、BI 报表、即席查询

• 大数据分析（日志、用户行为、风控、营销）

• 金融 / 电信 / 政府 / 能源等海量结构化数据分析场景天津南大通用数据技术股份有限公司

八、与 PostgreSQL/MySQL 的关键区别

GBase 8a MPP 是国产自主可控、高性能、高可靠的分布式列存数仓，在PB 级数据分析场景具备显著优势，是金融、政府、大企业数字化转型的核心数据引擎。