<h3 style="text-align:justify;">需求背景</h3>随着近几年数据的爆发式增长，海量数据的存储和运算成为各行业所面临的一个重要问题，这向传统集中式事务型数据库提出了更高的要求，多读多写的需求更加明显，主要体现在以下几个方面：1、业务的发展壮大，数据库需要支撑更大规模的读写操作，更高的并发，而单一数据库很难满足需求；2、对于一些关键业务系统，需要确保持续的高可用的数据库服务，单点故障会造成较大影响，需要引入备库或故障转移机制；3、一些数据统计和报表场景会产生大量的读请求，会引起资源争抢，需要引入读写分离模型以提高数据库性能。<h3 style="text-align:justify;">方案介绍</h3>GBase 8s Enterprise Replication（ER）是基于日志的异步工具，用于在GBase 8s Server数据库服 务器之间复制数据。源服务器上的Enterprise Replication通过读取逻辑日志，存储事务并将每个事务作为复制数据可靠传输至目标服务器。基于这种灵活便捷的架构，我们可以实现从一个目标服务器到多个目标服务器的消息广播模式，或者多个源服务器到一个目标服务器的消息汇聚模式，无论是数据广播还是汇聚都属于数据单向复制，这种模式的优势为管理相对简单，没有数据冲突产生。数据单向复制模式<img src="https://www.gbase.cn/files//group1/M00/00/D3/wKgCBWRtv7yAKm8VAANLT4ydLa8402.jpg">消息广播<img src="https://www.gbase.cn/files//group1/M00/00/D3/wKgCBWRtv82AbE-kAALodKoNSdQ949.jpg">消息汇聚甚至我们还可以根据实际业务结构，支持多服务器的双向数据复制达到各节点数据实时同步更新，任意点更新模式，创建点对点的应用环境，相对单向复制架构来说，该模式的优点在于可应对更为复杂的业务系统模型，可支持多读多写的业务需求；但是此模式也存在管理配置复杂，以及需考虑数据冲突问题。为了解决数据冲突问题，复制系统提前预制了大量的冲突侦测和解决策略方便客户结合实际业务进行选择和配置。任意点更新模式<img src="https://www.gbase.cn/files//group1/M00/00/D3/wKgCBWRtv-WADyqQAAIGCujfahU942.jpg">完全连接结构<img src="https://www.gbase.cn/files//group1/M00/00/D3/wKgCBWRtv--AdTb6AAJqjGaZzUc040.jpg">层次树结构<img src="https://www.gbase.cn/files//group1/M00/00/D3/wKgCBWRtwAaAP3OSAAKzRfPGS3A893.jpg">森林树结构<h3 style="text-align:justify;">方案特点</h3><ul><li>异步数据复制</li></ul>各节点间数据复制任务在ER网络中自动进行，不需要互相等待数据提交。<ul><li>基于日志的数据捕获</li></ul>调用几乎不需要额外资源开销，不会加重源服务器的负担<ul><li>高性能</li></ul>充分利用系统可伸缩性、并行处理的体系结构，可同时并发处理多条数据复制<ul><li>高可用</li></ul>异步的复制，可以容忍网络和目标节点的故障，数据或存放在目标主机, 或回滚到源主机的发送队列; 一旦恢复正常，发生变化的数据被自动推送到异地节点<ul><li>一致信息分发</li></ul>在ER网络中源节点数据可以路由多个节点到达目标节点，分发过程中保证信息一致性<ul><li>修复和初始数据同步</li></ul>GR可以实现数据的全量同步，尤其是在已经运行了一段时间的生产环境中部署GR，且生产环境中还有数据一致在DML的情况下，可以通过使用GR的全量同步<ul><li>灵活的体系结构</li></ul>在复制的拓扑中，可以实现森林拓扑树的功能，数据从一个拓扑树的叶子节点，复制到另外一个拓扑树的叶子节点，中间可以经历若干NOROOT节点<ul><li>集中管理</li></ul>管理员可通过Windows NT 图形界面（GUI）或UNIX系统命令界面（CLU）两种方式来维护、管理复制系统上的节点、监控所有节点的运行状况<ul><li>实施容易</li></ul>可以通过8s图形化配置管理工具轻松完成多节点单向/双向的复制集群搭建<ul><li>网络加密</li></ul>可支持SSL加密传输

GBase 8s数据库多读多写解决方案

&nbsp; &nbsp;GBASE南大通用自主研发的GBase 8a MPP Cluster是大数据时代成熟的分析型MPP数据库，最新GBase 8a MPP Cluster V9版本虚拟集群具有联邦构架、大规模并行计算、海量数据压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、高效加载等技术特征。能满足各个数据密集型行业日益增大的数据分析、数据挖掘、数据备份和即席查询等需求的能力。 &nbsp;&nbsp;GBase 8a MPP Cluster V9虚拟集群新特性&nbsp;高可用进一步增强GBase 8a MPP Cluster拥有多级别的高可用技术，包括：核心进程级别高可用技术，GCMonit组件实时监测服务程序的运行状态, 保证服务程序健康运行；节点级别高可用技术，保证数据一致性。 &nbsp;新版本在集群具有多级别高可用技术的基础上，使用虚拟集群镜像技术，实现镜像集群间的实时数据一致性，在数据库侧实现双活及更强高可用性，为集群灾备、数据仓库+数据集市的读写分离提供了可选方案。&nbsp;虚拟集群GBase 8a MPP Cluste虚拟集群极大提升集群可管理性，单套集群规模可达上千节点。以大规模集群为基础开发，一个集群中包含多个VC。各VC在整个集群范围内独立运行，共享统一的入口。权限许可的情况下，各虚拟集群间可以相互访问。&nbsp;<img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRAThGAcTB1AAIelfxkm0g000.png" alt="image.png">&nbsp;&nbsp;统一管理在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。&nbsp;统一入口用户选择Coordinator cluster中的任意一个Coordinator node作为集群入口。Coordinator node根据用户确定默认VC。&nbsp;<img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRAThGAEOs-AAFuQ-_Jlyw162.png" alt="image.png">&nbsp;业务隔离GBase 8a MPP Cluste虚拟集群对集群进行垂直资源隔离，在实际的业务场景中，可以实现不同业务的资源物理隔离；&nbsp;透明访问提供统一的访问入口（能够实现对仓库和集市的统一访问入口），应用对多个物理集群的访问对应用是透明的，对应用来说就是一个统一的集群。&nbsp;数据安全进一步提升GBase 8a MPP Cluster数据加密是提供对数据库落地数据的加密功能，用来满足用户的安全需求，提高系统的安全性。数据加密按照数据文件中的DC数据块为最小单位进行，可以实现表级或者列级不同粒度的加密要求。&nbsp;<figure class="image image_resized" style="width:518px;"><img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRAThGAXxswAABsVy9qFsk811.jpg" alt="数据加密"></figure>数据加密 &nbsp;动态数据脱敏动态数据脱敏并不会真正改动表中存储的实际数据，只是在查询的时候应用该特性控制查询返回的数据；动态数据脱敏是否启用受当前用户权限影响，拥有unmask权限的用户不受脱敏规则影响可以访问实际数据，没有unmask权限的用户受脱敏规则影响只能访问到脱敏后的数据。&nbsp;<figure class="image image_resized" style="width:488px;"><img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRAThGAWMiVAAFYioRz5M4951.jpg" alt="动态数据脱敏"></figure>动态数据脱敏 &nbsp;非root用户安装部署、运行为了方便用户处理，提供一键部署脚本SetSysEnv.py，通过该脚本来处理root下一系列操作。在集群部署前，用户需要将该脚本拷贝到集群所有节点（复合节点仅需执行一次），然后，在各个节点的root用户下执行该脚本即可。非root用户安装、运行功能，满足系统级的安全要求。&nbsp;<figure class="image image_resized" style="width:525px;"><img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRAThGAHyhpAAEYtkV-1AI132.jpg" alt="非root用户安装部署、运行"></figure>非root用户安装部署、运行 &nbsp;GBase 8a MPP Cluster V9其他新功能及改进&nbsp;支持多列哈希分布实际应用中有使用多列哈希作为主键的情况，针对这种情况，表迁移到GBase 8a之后，可以使用这些主键的列作为HASH列。当主键与外键进行连接的时候，也是多列全部进行连接，可以在各个节点上直接进行。多列哈希分布可以解决数据分布不均匀问题，进一步规避单节点的数据存储和运算倾斜造成单点瓶颈。&nbsp;支持GB18030、UTF8MB4字符集新版本提供了对GB18030的四字节编码部分、UTF8MB4编码的扩充支持，能够解决客户系统中遇到的一些生、偏、难字的问题，以及适应多行业迫切需要的人名、地名用字问题。&nbsp;性能提升新版本在以下方面进行了优化，使性能得以大幅提升：● 批量小文件数据加载性能优化● OLAP函数并行优化● 元数据合并&nbsp;分区表分区是数据库领域中处理大数据量的一种有效的技术手段，通过使用分区，可增强数据库的可用性、降低维护成本、均衡磁盘I/O，并有效改善查询性能。&nbsp;表空间GBase 8a的表空间功能实现了Express引擎表的数据存储路径用户可配置，一个表空间表示一个数据存储路径。表空间的创建规则是每个库可以存在多个表空间，只有一个默认表空间，一个表空间可以多个表使用，但一个表只能属于一个表空间。&nbsp;自增列自增列是指定auto_increment属性的列，自增列的列值单调递增（不保证连续）。自增列支持在以下数据类型的列上使用：tinyint、smallint、int、bigint。自增列可以唯一识别表中每一条记录，可方便用于查询、修改、删除等操作。自增列可以唯一识别表中每一条记录，可方便用于查询、修改、删除等操作。

GBase 8a MPP Cluster V9功能特性解析

关于金融行业的容灾方案，上一篇<a href="https://www.gbase.cn/news/3349">【GBASE闲谈 | 聊金融容灾方案（上）】</a>我们讲述了冗余表现中的存储安全和服务安全，本篇我们来聊一聊传输安全是怎样实现的？传输安全 - 不中断传输的中断主要来源于两个原因：网络中断或是物理性机房损毁。在这种情况下，我们需要的是系统级别的冗余，也就是双中心容灾配置。事务处理引擎：在事务处理引擎方面，GBase 8s提供同城近距离复制和远程异步复制技术，完成系统损毁级的容灾方案。同城近距离复制方案我们称之为HAC复制方案。HAC 工作的基本原理：当主数据库服务器开始将共享内存中的逻辑日志缓冲区的内容刷新到磁盘上的逻辑日志时，数据库服务器也将逻辑日志缓冲区的内容复制到主数据库服务器上的数据复制缓冲区。然后主数据库服务器将这些逻辑日志记录发送至 HAC 辅助数据库服务器。HAC 辅助数据库服务器将来自主数据库服务器的逻辑日志记录接收到共享内存接收缓冲区（数据库服务器自动将接收缓冲区调节至适当的大小以适合正在发送的数据量）。然后辅助数据库服务器在整个逻辑恢复中应用逻辑日志记录，并将这些记录应用到其自己的数据库空间。HAC 数据复制支持同步或异步两种方式。同步更新方式：一旦主数据库服务器将逻辑日志缓冲区内容写入 HAC 缓冲区，它会将那些记录从缓冲区发送至 HAC 辅助数据库服务器。仅当主数据库服务器接收到来自 HAC 辅助数据库服务器的确认（已收到记录）之后，主数据库服务器上的逻辑日志缓冲区清仓才会完成。使用同步更新时，如果发生故障，那么在主数据库服务器上提交的事务在 HAC 辅助数据库服务器上不会仍未提交或部分提交。异步更新方式：主数据库服务器在将逻辑日志缓冲区内容复制到 HAC 缓冲区之后会清仓逻辑日志缓冲区。（与上述操作无关）当发生以下条件之一时，主数据库服务器在整个网络上发送 HAC 缓冲区的内容：• HAC 缓冲区变满。• 自上次将记录发送至辅助数据库服务器以后，配置参数在主数据库服务器上指定的时间间隔已过去。<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WAJRqqAADWL39Tqhw217.png" alt="1.png">某头部保险公司国产化OA系统搭建示意图通过HAC搭建实现了部分关键国产产品的首次适配。东方通中间件与南大通用GBase数据库的适配；OA系统与南大通用GBase数据库保险行业适配。远程异地复制方案我们称之为RHAC复制方案。RHAC在很多方面都与 HAC 相似。将日志发送到 RHAC辅节点的方式与主服务器将日志发送到 HAC 辅助服务器的方式很相似。但是，RHAC 采用 SMX 异步通信框架，因此其对主服务器的影响达到最小。出于该原因，主服务器和 RHAC 辅助服务器之间事务落实或检查点是异步进行的。RHAC通过提升为 HAC 辅助服务器，实现最终提升为主服务器，从而接管远端主服务器，完成异地服务接管功能。某调度云平台通过RHAC实现1600公里容灾的配置方案：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WAe4a7AAIUi44zmvs137.png" alt="2.png">通过上千公里远程异地容灾方案建设，实现本地、异地读写分离双活集群秒级数据同步，产品上线运行至今，在稳定性、高性能、高可用方面完全超预期满足了客户核心业务支撑运行，为远程异地双活国产化建设提供了示范和参考。分析处理引擎：在分析处理引擎方面，GBase 8a提供多集群复制技术，完成异地容灾方案。举一个金融行业唯一上线的利用GBase 8a搭建的高可用MPP数据库双活集群的例子，配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WANjGVAAKBe55NqyQ244.png" alt="3.png">•&nbsp;查询与批量分离设计：1、业务上实现查询和批量并行，两个集群互不影响；2、A集群处理批量，B集群进行联机查询。• 同步方案设计：1、基于集群间同步工具的一致性方案设计；2、基于镜像集群的实时一致性方案设计。通过搭建高可用MPP数据库双活集群，数据查询与批量加工分离，提升数据处理和数据服务能力。通过支持增量数据同步、准实时同步以及文件块同步，提高了系统升级、灾备、异常处理过程中的业务连续性。总结容灾全方面解决方案在事务引擎方面通过磁盘保护、服务提供保护和灾难性传输中断保护来提供。以GBase 8s为例，其逻辑配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7aAE5ISAAF4llOOfiY551.png" alt="4.png">下面是某城商行的配置实践：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eAZqd-AAKoCIc7nOo687.png" alt="5.png">在分析引擎方面通过多副本、池化管理节点和多集群同步来提供。以GBase 8a为例，其逻辑配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eANSPrAAFJE00Cd18853.png" alt="6.png">下图是某资金清算中心为全国30家农村合作金融机构及其数万个网点提供汇兑、银行汇票、个人账户通存通兑等业务的资金清算的北京-长沙双中心的配置实践：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eAYcCgAAFX8lFhSb0879.png" alt="7.png">通过GBase 8a多集群支持能力，保证两中心数据同步。天津南大通用数据技术股份有限公司从2004年设立之初，就以数据安全为产品研发的基准。推出的第一款数据库命名就是“安全数据库”。通过近20年的努力，专注于数据库的国产化建设，主线产品全部实施国产生态适配，几乎涵盖了所有的国内通用平台：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAWHhAAANpIBOYoaU446.png" alt="8.png">由于对数据的全方位呵护，多样化的容灾解决方案。GBASE南大通用提供给客户灵活多变的容灾系统构建方案，受到客户的信任，目前用户已遍及三十余个国家及地区，国内32个省份，运行节点数超过30000个，总数据量&gt;300PB。我们对容灾的追求不仅仅停留在秒级RTO上，我们的追求是永不中断！&nbsp;

GBASE闲谈 | 聊金融容灾方案（下）

前两天在网上翻阅资料时，看到一篇讲数据库容灾方案的文章，标题醒目地写着 “秒级RTO容灾方案”，通篇围绕“秒级”这一概念讲述容灾。这让我很是诧异，容灾应是牺牲生产小部分效率增加冗余，以实现信息系统整体的数据安全，保证系统的稳定运行。诚然，RTO是很重要的容灾评判指标，一个容灾方案应讲述全方位容灾系统所提供的系统数据呵护，保证系统每一个环节的可用性，以达到24*7系统不间断运行的目的为佳，而不应当仅强调速度这一个指标。在我看来，容灾方案应该是由有效的容灾系统来表述的。由“科普中国”科学百科词条编写与应用工作项目审核通过的百度词条描述的容灾系统如下：“容灾系统，对于IT而言，就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时，容灾系统将保证用户数据的安全性（数据容灾），甚至，一个更加完善的容灾系统，还能提供不间断的应用服务（应用容灾）” 。由此可见，数据保护才是容灾的目的，提供不间断服务是容灾的成功有效的表达。那么，如何做到全方位的系统数据呵护呢？我们知道一般情况下信息系统主要构成有三大块：存储、处理服务和传输。作为一个容灾方案要保证每个环节都安全，实际上就是在这三个环节都施放冗余，以达到系统整体不中断的述求，以满足金融行业“5个9”的要求。这三个方面的冗余表现为：1、存储安全 - 不中断：通过数据冗余完成；2、服务安全 - 不中断：通过数据库服务器冗余完成；3、传输安全 - 不中断：通过系统冗余完成。以GBASE南大通用为例，让我们看看一个全面的容灾系统是如何搭建的。我们知道，一般的数据库信息系统，我们会分为事务型处理系统和分析型处理系统两类。对应的GBASE有两个不同的数据库服务引擎：事务处理引擎和分析处理引擎，它分别是GBase 8s和GBase 8a。下面让我们分别看看这两个数据库服务器引擎在处理事务型数据和处理分析型数据的时候，容灾方案的构成情况，以说明它们如何保护我们的数据安全，做到真正的意义上的细致呵护，达成容灾使命的。存储安全 - 不中断大部分情况下，大家对存储级别的保护都会选择RAID5。RAID5确实是对于磁盘数据保护尤其是恢复有帮助，但如果不是盘阵的话，数据库层面的保护对于重要数据的逻辑性校验，会显得保护更加有效。在事务处理引擎方面，GBase 8s提供磁盘镜像技术，对重要数据做磁盘级别的冗余，保证数据不仅数值的正确性，也保证了逻辑的正确性。在分析处理引擎方面，GBase 8a提供的多副本技术，对数据做存储级别的冗余，保证数据的提供不间断。需要说明的是，磁盘镜像和节点数据冗余在磁盘层面和数据库层面是有区别的，磁盘层面不会做逻辑性校验。服务安全 - 不中断事务处理引擎：服务不中断体现在事务处理引擎上的表达为共享集群，我们称其为SSC集群，当主服务server故障时，SSC的备选server可以立即接管。备选server的数量可定制，一般选用2-3个备选server，作为主server的冗余，整个集群共享一份数据。搭建情况如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAG_jAAAErKdghsQs668.png" alt="1.png">SSC采用备选节点和主机共享磁盘方式，避免了数据重复存储的问题，节省了空间，同时安装、配置更加简单。而且，当主机发生故障后，它可以快速实现接管，另外，我们可以非常容易地配置多个 SSC备选节点，实现了负载均衡的功能。由于SSC备选节点利用了主服务器的磁盘并且可以轻松快速地启动，因而非常适合规模扩展场景，由于 SSC备选服务器非常接近主服务器（即它们共享相同的磁盘），因此最适合在主服务器遇到问题时作为故障转移服务器。SSC集群工作的基本原理：对于 SSC 辅助服务器，主服务器只需将逻辑日志页的日志位置发送到 SSC 辅助服务器。通过使用从主服务器接收到的日志位置，SSC 辅助服务器从磁盘读取逻辑日志页，并将其应用于内存数据缓冲区。SSC 辅助服务器不会向共享磁盘块中写任何东西，不会将共享内存的数据刷新到磁盘，即使是发生 checkpoint 操作也一样。如果SSC 辅助服务器需要刷新共享内存数据，他们会备写到临时的‘ paging file ’ 中，直到下一次 checkpoint 操作才清空‘ paging file ’。同时，主服务器不会清仓共享内存中的数据页，直到确认SSC辅助服务器不再需要该数据页才会清仓到磁盘上。下图是某农商行中间业务国产化的搭建方案：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAbXIQAAIe5HMB3aY823.png" alt="2.png">该方案采用了全国产配置，承载ETC充值业务、渠道服务整合、业务流量控制等中间业务。通过SSC配置方案既满足了7*24小时业务连续性需求，具备故障秒级自动快速切换的能力，又实现了负载均衡的能力。达到了：• 高性能：亿行级表响应时间为毫秒级，满足平台业务高峰处理能力；• 高可用：故障透明自动快速切换，切换时间小于30秒，保障业务系统的连续性和安全性；• 高稳定：保障银行涉钱交易业务7*24业务需求；• 国产化：全国产平台一体化解决方案分析处理引擎：服务不中断体现在分析处理引擎上的表达为联邦架构形式。GBase 8a MPP Cluster产品总共包含三大核心组件——分布式管理集群GCWare、分布式调度集群GCluster和分布式存储集群GNode。它们的功能分别为：GCluster：负责SQL的解析、SQL优化、分布式执行计划生成、执行调度。GCWare：用于各节点GCluster实例间共享信息(包括集群结构，节点状态，节点资源状态等信息)，以及控制多副本数据操作时，提供可操作节点，控制各节点数据一致性状态。通常GCluster与GCWare组件部署在相同的物理节点上，统称coordinator。coordinator提供池化管理，多个coordinator server放置于管理池中公用，任何一个节点服务的问题均不会影响系统的正常运行，无需切换。联邦架构的搭建形式如下：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7mAL4hFAAE5iJFCKMU902.png" alt="3.png">联邦架构的优势-无停顿运行，协助上百家金融机构安全平稳开展业务，极高的可用性，使得GBase 8a成为金融界采购分析型数据库的首选。<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7mALYhZAANG86CEGdY866.jpg" alt="4.jpg">&nbsp;

GBASE闲谈 | 聊金融容灾方案（上）

随着TeraData宣布退出中国市场，众多用户纷纷考虑正在使用的数据库的迁移问题。数据库迁移，考察的是数据库厂商的配套工具、方法论、实施经验，不仅仅要求转换成功率高，转换效率高，也要求转换后可执行，执行结果要准确。近几年，GBase完成了100+用户TeraData等国外数据库替换迁移，积累了多个项目的迁移经验，以转换高、精、准而收到合作伙伴或厂商的好评。以2022年某金融用户的POC测试为例：转换内容包括DDL、视图、批量Perl脚本，转换的数量在PoC中也是算是偏多的，包括600多个DDL、视图，超过100个Perl脚本。最终转换成功率、转换成功率均考核达标，DDL、视图转换成功率达到99% ，Perl脚本的转换成功率要求达到85%，且即转即用，不能做任何修改，转完即跑，跑则能对。这种转即用的迁移，做过数据库迁移的厂商都知道这意味的什么，那种靠铺众多人力手动迁移的情况不能也不会发生在Teradata到GBase 8a迁移产品上。数据库系统迁移，包括如下的几部分核心工作，从Teradata到GBase 8a的迁移也遵循此规则，主要步骤按照先后次序为：<ul style="list-style-type:disc;"><li>从Teradata按照要求导出数据，导出要求数据的列分隔符、包围符、空串与NULL值的区分、字符集等指标要提前规划；</li><li>从Teradata数据库对象的导出，包括DDL、视图、函数等；</li><li>客制化GBase 8a的迁移工具，最大化覆盖贴合于客户特点的编写语法写作特点，最大化的提升转换成功率，客制化时间可控制在3天到5天内完成。</li><li>在GBase侧建立数据库对象；</li><li>根据Perl脚本中的SQL语句，使用工具来重建数据分布键值，默认采用原Teradata中的index作为分布键；</li><li>导入GBase 8a从Teradata落地后的文本文件，并注意左空格的保留，注意日期的存储格式，注意大小写不敏感等信息；</li><li>迁移Perl脚本到GBase 8a；</li><li>迁移后处理结果Teradata于GBase 8a结果比对；</li><li>迁移到GBase 8a后性能极致性优化；</li><li>Teradata于GBase 8a的并行运行，确保稳定、数据无误；</li><li>正式切换到GBase 8a，完成数据库系统的迁移；</li></ul>在本次的POC中，由于GBase 8a与Teradata的高度兼容性，涉及到迁移内容不多，如下面两个部分的罗列，这些迁移都通过工具自动完成，迁移成功后，可直接运行。DDL、视图迁移该部分迁移，主要包括表类型关键字的处理，字段类型的处理，字段约束、字符集的处理、以及Teradata其他DDL特殊数据处理内容，具体为：表类型：CREATE [MULTI]SET TABLE直接改为CREATE TABLE，CREATE GLOBAL TEMPORARY TABLE改为GBase的物理表，CREATE VOLATILE TABLE 是SESSION级临时表，改为GBase TEMPORARY表；常见数据类型：99%可以通用，cHAR、VARCHAR、DATETIME、DATE、TIME、TIMESTAMP、DECIMAL、INT等；字符集：迁移成统一的字符集，可以是GBK、UTF8等GBase支持的字符集，包括GBK、UTF8、UTF8MB4、GB18030等；大小写不敏感：关键字UPPERCASE、NO CASESPECIFIC直接去除并记录表、字段信息，同时在脚本中对应字段的比较操作进行UPPER或者LOWER操作；其他表信息：需要去除，包括FALLBACK、JOURNAL、CHECKSUM、MERGERBLOCKRATIO、FREESPACE等信息。PRIMARY INDEX信息：转化为GBase 8a的分布键；COMPRESS压缩信息：直接去除，改为表级的默认中度压缩，不带副本可以达到4.4倍压缩；TITLE注释：改为COMMENT关键字；脚本迁移主要涉及语法、函数的处理，该去除的去除，该替换的替换，由于GBase 8a也是关系型数据库，支持标准的SQL，所以超过90%的SQL语法可以不用任何修改而直接使用。包括如下内容：缺少的函数：NVL2、RANK，其中NVL2函数用UDF函数替换，RANK改为RANK OVER，替换的函数：CHAR、CHARACTER函数对应GBase 8a的Length函数，ZEROIF、IFZERO函数替换GBase的IFNULL、NULLIF，FORMAT的用法在TD中比较广泛，迁移到8a时需要根据具体的不同用法进行对应修改。排序顺序及NULL空值的位置：DESC:TD空排在最后面，GBase 8a空排在最前面（迁移时要加NULLS LAST）ASC: TD空排在最前面，GBase 8a空排在最后面（迁移时要加NULLS FIRST）日期格式化处理：主要用到GBase的DATE_FORMAT、STR_TO_DATE、DATE函数来处理，均可以通过转换工具自动转换。别名依赖：目前GBase支持投影列中的别名，但对于WHERE条件、OLAP中的别名还需转换工具进行替换。总括上述技术迁移点，从Teradata到GBase的迁移，通过工具自动完成迁移后，即可完成差不多超过95%的工作量，再对极少数工具没有覆盖且语法特点毫无规律的内容进行手动修改完成整体迁移。基于丰富的迁移经验及高精度的转换工具，GBase 8a产品可以说在替换Teradata数据库方面已经非常成熟，对于迫切替换Teradata的用户可以随时联系GBase 8a，一流服务在等着你。关于GBase 8aGBase 8a是南大通用自主研发的，面向海量数据查询分析应用领域的一款高性能国产分布式逻辑数据仓库，用于满足各个数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等数据存储、管理和处理需求，可用做数据仓库系统、BI系统和决策支持系统的承载数据库。产品主要应用在金融、电信、z政企、能源、安全等拥有海量业务数据的行业得到规模化应用。&nbsp;

Teradata迁移GBase 8a PoC实践

数据库系统作为企业IT基础设施中的重要组件，其稳定性与可用性是上层系统运行的必要基础。并且随着数字化发展，大量的核心业务对于城市级别容灾提出了更高的要求。作为一款分布式数据库，GBase 8c可轻松实现例如两地三中心架构的集群异地灾备。GBase 8c异地灾备集群间的不同节点采用各自对应的高可用部署方式，两地间采用同步或者异步复制的备份方式。可以抵御硬件级别故障、机房级别和城市级别灾难，两地之间距离可以大于1000千米。除此之外，GBase 8c还支持多集群部署，集群间进行数据双向同步来提供异地多活的架构，以满足对高可用有严苛要求的业务需求。GBase 8c实现异地多活的关键，则是其中的数据同步机制，而CDC正是实现数据同步机制的核心技术。下面将主要介绍GBase 8c数据库中CDC技术的架构及其实现原理。CDC技术原理GBase 8c中的CDC (Change Data Capture) ，中文名称为变更数据捕获，是一种通过解析GBase 8c的WAL增量日志，获取表级别的所有数据变化，并将其转换为可以复制到同构或者异构系统格式的机制。作为一款多模多态分布式数据库，GBase 8c的CDC实现机制及执行流程上可分为主备式及分布式两大类：主备式基于逻辑复制的发布订阅功能是实现CDC技术的核心机制，在GBase 8c的主备式架构中，数据同步的发布订阅主要执行流程如下：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsOAAdZHAAFpW6YFt9A462.png" alt="1.png">主备式CDC执行流程示意图本地GBase 8c，可以指定单个表，也可以指定某个数据库中的所有表，作为逻辑复制的发布端。异地GBase 8c为逻辑复制的订阅端，连接本地GBase 8c的服务端口。本地GBase 8c启动一个WalSender线程来读取WAL日志进行解码，并输出特定格式的消息发送给异地GBase 8c的ApplyWorker线程，ApplyWorker识别特定格式的消息后直接执行相应的INSERT\UPDATE\DELETE等语句来完成数据的回放。其中本地的主机通过复制槽（Repliaction Slot）机制来保存消费者偏移量，跟踪订阅者进度。分布式不同于主备式架构，分布式架构中DN分布在多台服务器中，本地集群的一个事务可能涉及到多个服务器上的DN节点。因此，异地集群在进行数据同步及回放时，根据不同的事务处理策略，存在两种不同的执行方式。1. 基于分片的分布式订阅流程第一种就是基于分片的分布式订阅，此同步方式的核心机制与主备式相同，也是基于逻辑复制功能。不同的地方在于异地集群在进行订阅时，是以本地GBase 8c的DN为基准，启动多个订阅任务，分别连接每个DN节点。此时异地集群在CN中会启动多个 ApplyWorker 线程，每个线程复制一个DN节点的逻辑日志。本地集群的每个DN启动一个WalSender线程来读取本DN节点WAL日志进行解码，并输出特定格式的消息发送给异地GBase 8c的ApplyWorker线程进行数据回放。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsOAT9xFAAJLlWpmOkY480.png" alt="2.png">基于分片的分布式订阅流程示意图此种同步方式，虽然是以DN节点个数为并行度进行并行同步，同步效率高，但因为没有有效的机制保证本地集群的分布式事务在异地集群回放的全局有序性，所以也就无法保证回放事务的原子性与全局事务一致性，只能保证数据的最终一致性。2. CDC 发布订阅操作执行流程为了解决基于分片的分布式订阅无法保证数据回放的全局事务一致性问题，在分布式架构场景下的第二种同步方式中，GBase 8c新增了CDC节点，通过对所有DN上的分布式事务进行合并和排序，来保证异地集群上的事务能够全局有序性的回放，实现数据的强一致，保证分布式事务的原子性。CDC节点整体的架构如下图所示：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsOAKD2ZAAEAEPuEM5s020.png" alt="3.png">CDC架构图CDC节点采用和CN类似的无状态设计，只存储本地集群的元数据信息，当CDC节点异常宕掉后，重新拉起实例或使用备用节点即可继续服务。按功能不同，CDC内部主要由3个角色组成：1. DumperDumper通过逻辑复制的方式从DN上拉取逻辑解码后的WAL增量日志，将事务信息输出给Joiner进行排序合并。2. JoinerJoiner负责接受各个Dumper发送过来的事务信息，将具有相同的csn事务进行合并后按照csn顺序进行排序，以构建完整的全局事务输出给Output线程。3. OutputOutput负责将完整的事务流输出给异地集群，输出的格式支持json、sql、internaloutput（类似于pgoutput格式）。当异地集群是GBase 8c数据库时，使用internaloutput格式进行replay性能最优。该CDC 同步机制的发布订阅流程具体如下：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsSAUQjEAAGZ4xnqaZI054.png" alt="4.png">CDC执行流程示意图此时异地GBase 8c集群将连接本地GBase 8c集群的CDC节点来进行订阅任务的创建。本地集群的CDC节点启动n个Dumper线程，并开始接收多个WalSender线程输出的逻辑解码增量日志。随后CDC的Joiner线程通过将增量日志消息进行事务合并和排序操作，构建出完整有序的全局事务信息，并最终由Output线程对外进行输出。最后异地集群CN节点启动ApplyWorker线程，对Output线程发来的特定格式信息进行逻辑日志解析及回放操作，完成数据同步。此种数据同步方式保证了异地集群上的事务回放的全局有序性，实现了数据的强一致。关于 GBase 8cGBase 8c是基于openGauss3.0构建的一款多模多态的分布式数据库，支持行存、列存、内存等多种存储模式和单机、主备式、分布式等多种部署形态。GBase 8c具备高性能、高可用、弹性伸缩、高安全性等特性，可以部署在物理机、虚拟机、容器、私有云和公有云，为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsSAODL5AAGcBjA8gCM593.jpg" alt="5.jpg">&nbsp;

GBase 8c 分布式核心技术初揭秘—CDC数据同步

随着互联网时代的发展，联网业务高峰期间可能实时面临高并发的访问量。飞速增长的业务需求使得数据库计算和存储压力急剧增大，负载峰值不断攀升，将严重影响业务系统的正常访问。为了解决此类问题，南大通用GBase 8c多模多态分布式数据库增强了其在线扩容/缩容的能力。在线扩容/缩容GBase 8c因其优秀的在线扩容/缩容能力，能够全面覆盖用户流量低高峰期的业务场景。用户根据业务需求、策略等设置伸缩规则。在业务需求增长时，系统自动增加数据库节点以保证计算存储能力；在业务需求下降时，系统自动减少数据库节点以节约成本。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsKAHxLMAAEFGhArXvE520.png" alt="1.png">扩容/缩容数据流图按照流程方式划分，GBase 8c在线扩容/缩容可分为普通表、Hashbucket表两种。默认创建普通表。普通表适合数据量小、数据文件有序的场景；Hashbucket表适合数据量大、数据文件繁杂、高并发的场景，在此类场景下，Hashbucket表的扩容缩容和查询性能更优越。以下分别简述普通表和Hashbucket表在线扩容的原理。普通表在线扩容原理GBase 8c仅在数据重分布阶段中表切换操作时，出现秒级或毫秒级的短暂下线。扩容其余时间内均支持业务在线。存储节点扩容主要分为集群加节点、数据重分布两个阶段。1. 集群加节点阶段。此阶段主要完成新节点的安装、元数据同步、启动等操作。首先将新节点初始化并加到集群中，然后将老节点的元数据信息都同步到新节点中，为后续数据重分布阶段做准备。在元数据同步后启动、运行新节点，并切换Installation Group为新建的Node Group。2. 数据重分布阶段。此阶段主要完成存储节点扩容后数据的重分布，以及切换元数据。首先在数据重分布之前，进行检查新旧Node Group、创建临时表和delete_delta表等准备工作。然后采用自研Hash数据分布算法，完成基线数据重分布操作，并追增扩容期间产生的业务数据，完成增量数据重分布。在最后一轮数据追增完成后，关闭数据追增模式，并完成表切换、删除临时列、更新Node Group等收尾操作。HashBucket表在线扩容原理此外，GBase 8c还支持创建HashBucket表。创建命令如下：CREATE TABLE tab_name(rel_name rel_type) with(segment=on,bashbucket=on);HashBucket表使用段页式存储方式，以解决数据文件多的问题。每一个bucketid一段连续存储，相同的bucketid存储在相同文件。因此在线扩容/缩容进行数据搬迁时，仅需搬迁发生变化的bucketid对应的块文件。在表切换、交换物理文件时，仅需在存储结构进行修改。从而，数据搬迁量大大减少。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsKAZBsbAAHPWXBcHl4803.png" alt="2.png">Hashbucket表扩容数据流图Hashbucket表扩容数据流图如上所示。例如，扩容前，bucketid为1、2、3的数据存放在DN1节点，bucketid为4、5、6的数据存放在DN2节点。扩容时，如果新节点不在原集群中，则需将新增的DN3加到集群中（如图步骤①所示）。根据数据分布算法生成的新map，仅将bucketid为3、6的数据由老节点搬迁至新增的DN3节点（如图步骤②所示），其他bucketid值的数据无需搬迁。由此看出，数据搬迁时只需移动发生变化的bucketid对应的数据，而非所有节点的数据重分布，减少扩容过程中的搬迁数据量，有效提高了扩容速率。关于 GBase 8cGBase 8c是基于openGauss3.0构建的一款多模多态的分布式数据库，支持行存、列存、内存等多种存储模式和单机、主备式、分布式等多种部署形态。GBase 8c具备高性能、高可用、弹性伸缩、高安全性等特性，可以部署在物理机、虚拟机、容器、私有云和公有云，为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsOANP-bAAM-jaOevM8830.png" alt="3.png">&nbsp;

GBase 8c分布式核心技术初揭秘—在线扩容

近些年，随着云服务为代表的信息化新技术演进，很多用户都开始使用新技术建设和改造原有信息化系统，但是部分用户使用过程中缺乏安全警惕和规范，数据泄露事件屡见不鲜。对此，GBASE信息安全专家表示：对具有高安全要求的信息化系统，例如涉密信息系统、信息系统安全等级保护要求中规定的三级以上信息系统、国民经济支柱行业核心信息系统，以及其他信息系统等对数据管理具有高安全需求的领域，所使用的数据库，都建议加强安全保护措施，包括数据加密、符合国家信息安全标准和制度安全三个方面：一、数据加密数据加密是保护用户数据最可靠的方法之一。通过数据加密、存储加密、数据完整性鉴别、密钥管理等技术对数据库中的信息进行加密，能够有效保护用户遭遇拖库的信息安全，还可以防止数据在存储和传输过程中失密。安全数据库产品还应支持硬件商密算法，符合国家安全算法，严格遵循《密码设备应用接口规范》，通过使用获得国家密码型号证书的硬件密码卡，能够有效保障用户密码安全，保障存储数据的机密性。二、符合国家信息安全标准信息系统的各个组成模块（例如操作系统、数据库、中间件等）必须使用符合国家安全标准的产品。不能因为某款产品（例如云服务、云数据库）没有安全证书，就进行妥协。在现场实施中，必须保证普通数据和敏感数据的物理隔离，尤其是采用了公有云服务这种不安全业务模式的情况下。高安全等级的业务系统，应当采用具备高安全、高性能、高可用的安全数据库产品。此类数据库产品一般应具备《中国国家信息安全产品认证证书》、通过《安全数据库产品密码检测准则》、拥有国家密码管理局颁发《商用密码产品型号证书》，满足国家保密标准《涉及国家秘密的信息系统安全数据库产品技术要求》、《涉密信息系统产品检测证书》，达到国标（GB/T 20273-2019 信息安全技术 数据库管理系统安全技术要求）四级技术要求。符合国家信息安全标准的数据库产品应为用户提供数据传输加密、存储加密、身份鉴别、自主访问控制、安全标记、强制访问控制、安全审计、数据完整性保护、三权分立、推理控制等安全功能和手段，从而极大地提高数据的安全性，为信息系统的敏感数据安全保驾护航。因此，在信息化建设数据库选型过程中要选择严格符合国家安全标准的数据库产品，避免此类泄密事件的再次发生。三、安全制度最后，高安全要求的信息化系统的使用中，一定要有完善的安全管理制度保驾护航，建设一套安全规范的监督和使用流程，规范人员信息安全管理,提高人员信息安全意识,承担并切实履行各岗位相应的信息安全职责，是一切信息化系统安全的前提。&nbsp;基于共享存储的数据库集群GBase 8sGBase 8s是南大通用自主研发的具有高安全、高性能、高可用的基于共享存储的数据库集群。是首个获得《中国国家信息安全产品认证证书》的安全数据库、首个通过《安全数据库产品密码检测准则》并获得国家密码管理局颁发《商用密码产品型号证书》的安全数据库、首个满足国家保密标准《涉及国家秘密的信息系统安全数据库产品技术要求》并获得《涉密信息系统产品检测证书》的安全数据库、并且达到国标（GB/T 20273-2019 信息安全技术 数据库管理系统安全技术要求）四级技术要求。GBase 8s主要适用于涉密信息系统、信息系统安全等级保护要求中规定的三级以上信息系统、国民经济支柱行业核心信息系统，以及其他信息系统等对数据管理具有高安全需求的领域。GBase 8s目前已在金融、能源、政府、交通、工业等行业的核心业务系统中广泛应用。未来也将为行业带来新的活力，为各类信息系统敏感数据提供安全保护的同时，提供更高效的访问、更稳定可靠的运行。&nbsp;

 数据泄露频发 信息系统安全应如何守护

为共同推进信创行业数据库的发展，GBASE南大通用加入openGauss 社区，并发布基于openGauss的GBase 8c多模多态分布式事务型数据库产品，支持多种存储模式和多种部署形态，具备高性能、高可用、弹性伸缩、高安全性等特性，其兼容信创生态，可以部署在物理机、虚拟机、容器、私有云和公有云，为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。 &nbsp;<img src="https://www.gbase.cn/files//group1/M00/00/5E/wKgCBWRATjKAV7csAAKc4HPQRZM891.png" alt="1.png"><h2>挑战一：多模——多模存储应对多场景应用</h2>目前数据库领域针对不同的存储模式有许多争论，焦点就是：谁能够更有效地处理海量数据，且兼顾高性能、高安全、高可靠和完整性。行存储、列存储、内存存储都有其各自的优缺点，面向不同的业务场景，能否实现灵活应对？所谓多模，即GBase 8c支持行存、列存、内存等多种存储模式，以满足不同场景的业务需求。行存储模式：主要面向OLTP场景设计，例如订货、发货、银行交易系统。列存储模式：主要面向OLAP场景设计，例如数据统计报表分析系统。内存存储模式：主要面向极致性能场景设计，例如银行风控场景。<h2 style="text-align:justify;">挑战二：多态——多部署形态打造差异化竞争力</h2>同时，GBase 8c支持单机部署、主备部署及分布式部署等三种部署形态，并可通过统一运维管理平台来进行管理，分别面向企业核心业务及海量业务场景，打造差异化竞争力。单机形态：GBase 8c支持单机部署，可以直接在一台服务器上部署数据库，这种部署的优势是最低成本，且部署简洁。主备形态：GBase 8c支持一主多备的部署方式，主备之间可以采用同步或异步备份方式。这种部署方式部署简洁、交付高效，适用于较低数据量、追求极致单机性能，且要求数据备份的场景。分布式形态：支持分布式全组件冗余的高可用，支持计算存储分离的部署。可以根据业务需求对计算和存储能力分别进行水平扩展，适用于大数据量高并发且追求数据高安全性的场景。一库多用，多模多态，GBase 8c借助openGauss良好的产品性能，在技术创新上不断探索与实践，增强自身优势，实现重磅升级。未来，GBASE将持续深耕数据库领域，持续创新，联合各生态伙伴深化合作创新，不断发挥自身优势，共同推动国产数据库生态圈的繁荣发展！&nbsp;

支持多模多态 GBase 8c数据库持续创新重磅升级

一、多模态数据库随着大数据应用的发展，企业需要处理的数据量爆炸式增长，同时面临数据的结构也越来越灵活多样。传统基于关系型理论构建起来的数据库管理系统遭遇到了巨大挑战。为了满足企业发展需求，企业不同业务IT系统需要用不同类型数据库来支撑。以下示意了不同类型数据库及其适用场景。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATr6AKPFzAASei05fLck347.png" alt="图片1.png">不同应用类型采用不同数据库可以有针对性提供数据支持，但数据库维护的难度较大且数据交换的复杂。为此，多模态数据库(multi-model database)受到了高度关注，所谓多模态数据库就是能够管理具有不同模型（如关系模型、树模型、图形模型和对象模型）的数据库系统。多模态数据库具有多个数据库引擎，可以同时满足应用程序对于结构化、半结构化、非结构化数据的统一管理需求。多模态式数据管理使得数据库能够进行跨部门、跨业务的数据统一管理，实现多业务数据融合，支撑多样化的应用服务。目前，国内外已经有多模态数据库产品，其中，ArangoDB，是比较有名的多模态数据库。在ArangoDB数据库中，数据可以存储为文档、键/值对或图形。使用单一的声明性查询语言，可以访问任何或所有数据。此外，可以在单个查询中组合不同的模型。而且，由于其多模态型风格，人们可以制作精益应用程序，可以使用多种数据模型中的任何一种或全部进行水平扩展。虽然多模态数据块库能够统一支撑多类型业务应用，但是，多模态数据库面对的难点很多，由于不同数据库引擎在响应延时、计算存储、操作语言的语义语法等都差异很大，不同引擎集成后，原数据库的性能都难以充分发挥，整体性能受到较大约束。俗话说的好，让专业的人做专业的事，同样，让专业的数据库支持专业的业务应用是有其合理性的。通用的数据库虽然有能力支撑全面业务，但在具体细分业务领域，通用的数据库的支持能力并不能够达到专业数据库的支持能力，数据库整体性能不佳。二、HTAP混合事务与分析数据库相对多模态数据库，混合事务与分析数据库考虑的是关系型事务型数据库与关系型分析型两种类型混合的数据库。HTAP可以解决大型实时应用的同时支持对大数据的分析挖掘。HTAP通常可以用两套系统来组合来支持OLTP和OLAP，也可以用一套系统同时支持OLTP和OLAP。前者需要用户的应用程序自己来协调AP和TP系统的使用，数据在两个系统之间是通过ETL方式同步。后者基于一站式架构同时处理事务请求与查询分析请求的技术，不仅消除了从关系型事务数据库到分析型数据库的数据抽取、转换、和加载过程,还支持实时地分析最新事务数据。合理的HTAP数据库不仅能够同时支撑事务运行和数据分析，避免在传统架构中，在线与离线数据库之间大量的数据交互。以下是一种HTAP系统架构示意图：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATr-ANqCmAAW1t7H3tus346.jpg" alt="SQL解释-01.jpg">HTAP虽然同时具备OLTP和OLAP的重要特点，但目前HTAP还面临一些问题，有待进一步发展。其主要问题有：1.大多数HTAP已经分别支持了AP请求和TP请求的处理，但没有系统支持在TP中执行AP的场景；2.大多数系统需要组合各种解决方案来达到HTAP场景的需求；3.为了加速TP的更新和点查，HTAP将索引全部放在了内存中，但是对于更大规模数据的场景，索引全部在内存中会导致TP系统变慢；4.为AP场景设计的存储引擎，通常使用对象存储或者共享文件系统来存储数据。这些存储格式主要是为scan场景进行优化，无法提供高效的点查和更新能力。虽然HTAP并不能分别达到OLTP与OLAP各自的性能，但通常HTAP面对的OLTP与OLAP具有很多共性，OLTP和OLAP两者都是关系数据库，都支持标准SQL语言，而且数据库表结构没有什么区别。所以，数据库整体性能可以得到有效优化，从而HTAP在相当程度上可以发挥OLTP和OLAP的各自优点，并简化系统维护成本。三、扩展分析型数据库HTAP数据库的OLTP与OLAP面对的数据库有很大共性，从而，相对多模态数据库，HTAP不仅满足特定应用需求，同时OLTP和OLAP的性能损失较少。HTAP是从关系数据库的维度整合两种数据库类型，同样，从数据分析维度上，分析型数据库（OLAP）与图数据库（RDF）也是一种互补的组合，可以满足更高的数据分析业务需求。OLAP与RDF数据库也有很多共性，比如，两者都是面向数据分析，面对的数据量都很大，而且各自的分析能力可以互补，两者结合，可以提供更加丰富、高效的数据挖掘。在此，我们把OLAP分析数据库分析处理与RDF图数据库的分析处理的整合称为扩展分析型数据库。我们知道，大数据分析挖掘要依靠OLAP关系数据库来支撑，多年来，基于OLAP数据库的数据仓库技术为各行各业数据分析挖掘提供了极其重要的支撑。然而，由于OLAP关系数据库是擅长行与列数据的计算与存储，但在遍历关系网络并抽取信息的能力比较弱，关系型数据库在数据规模庞大时很难做多层关联关系分析，其关联操作往往因为消耗过长时间而失败，而图数据库正好在关系库正好弥补了关系数据库这个弱点，图数据库可以很自然的表达现实世界中的实体及其关联关系，无需耗时耗内存的关联操作，可以保持常数级时间复杂度，图数据库在多级关联上查询上相对关系数据库具有显著优势。为了实现更强大的数据分析处理，可以采用两种架构实现如下：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsCAWR53AAFyydXNcng528.png" alt="图片3.png">分立架构，通过业务种类判断，分别由两个不同类型数据库根据各自优势进行分析，两个系统需要进行同步。一体化架构采用适应关系表分析和关联分析的引擎，对应用进行统一解释、统一调度、统一优化，提供一体化数据分析服务。一体化的扩展分析型数据库的具体结构示意如下：<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsCAKpT9AAXrfxNahG8636.jpg" alt="SQL解释2-01.jpg">由于OLAP和RDF引擎都可以进行大规模海量数据处理，如此集成的分析型数据库同时发挥了OLAP和RDF数据分析的优势，进一步提升数据分析能力。四、GBASE南大通用扩展分析型数据库GBASE南大通用图数据库通过研发融合平台UP及分析型数据库GBase8a的技术，结合国产化图数据库技术，充分利用三种技术优势，打造扩展型数据分析数据库平台，不仅实现了超大规模数据分析的需求，同时在关联分析上性能取得突破，可以进一步满足大数据挖掘分析，实现复杂多级关联的知识图谱分析。扩展分析型数据库将在以下应用场景取得更好应用：金融风控及审计金融风控分析涉及指标多、数据量大，同时实体关联层级多且复杂。比如，在审计分析中，客户对公、对私、对员工及相关的管理，纬度特别多，数量大。传统数据库难以支撑，采用扩展分析型数据库，可以高效地分析出重点客户上或者员工频繁会跟他的亲属进行转账关系或者有一些深度资金往来数据，这样可以显示出非常大的价值。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsGAFpbtAALLERnSTGc993.png" alt="图片4.png">石油勘探认知计算平台石油勘探的“测井”环节，涉及数据量巨大，同时，地球物理学家需通过对电阻率、自然电位、声波等综合信息的研究进行油气层识别, 在油气生产领域，采用物联网技术和机器学习方法，实现了油井工况的定量诊断和远程实时在线管理。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsGAMFYnAAUiZOQSic4286.png" alt="图片5.png">通过扩展型数据分析，可以通过海量数据机器学习挖掘发现油气层规律，同时可以通过知识图谱，进一步挖掘各种复杂关联关系，为科学勘探提供依据。电网潮流计算电网潮流计算分别用来描述发电机、负荷、线路和变压器数据，通过扩展分析型数据库，不仅可以计算存储电网潮流涉及的海量数据，同时可以通过知识图谱，迅速更新复杂电网拓扑，发现电网故障路径，为智能电网故障快速恢复提供技术支撑。<img src="https://www.gbase.cn/files//group1/M00/00/61/wKgCBWRATsKAb4ShAAWIqTP-wGA107.png" alt="图片6.png">五、结论大数据技术与应用的发展，对分析型数据库提出更高要求，传统分析型数据库已经在数据仓库能力上大显身手，但在多层次数据关联上，传统分析型数据库能力欠缺，而图数据库是为数据关联分析而生，非常擅长多级数据关联分析。所以一种扩展分析型数据库就是整合了传统分析型数据库与图数据库的优点，极大增强了分析型数据库的能力，可以更好满足大数据业务的发展需要。&nbsp;

GBASE观察：扩展分析型数据库

2025年4月10日-12日,以“从‘新’出发，向‘质’而行”为主题的第九届中国智慧轨道交通大会在广州圆满召开。作为轨道交通领域领先的国产数据库服务商，GBASE南大通用受邀出席，携全栈自主可控数据库产品精彩亮相，并在“数智化与融合通信论坛”分享GBase数据库助力交通用户数智转型的创新实践。&nbsp;本次大会由城市轨道交通系统安全与运维保障国家工程研究中心与RT轨道交通联合主办，1500余名来自城市轨道交通行业科研院校、40座城市业主单位、15家设计院以及100余家集成商&amp;设备厂商的领导和专家、业界同仁齐聚一堂，全方位探讨城市轨道交通行业先进的智慧化解决方案和成功应用案例，共话轨道交通高质量和可持续发展对策。GBASE数据库筑基智慧交通数字转型与数据安全新生态在大会同期举办的“数智化与融合通信论坛”，GBASE南大通用能源交通部技术总监王顶卓作《GBASE数据库筑基智慧交通数字化转型与数据安全新生态》主题演讲。<img src="https://g1.cdn.gbase.cn/Uploads/0r7JoTWKArSEFb-Qa2XjT/1.jpg">王顶卓表示，在智慧交通领域，高性能、高可靠、高安全、易拓展的GBase数据库已成为用户的数字化转型与数据安全建设的坚实后盾，为智慧轨交提供了集数据计算、存储、管理于一体的技术服务，保障业务系统平稳运行，实现海量业务数据的高效分析与处理。在轨交领域，GBase数据库在国内多条线路的AFC自动售检票系统、清分中心、多线路中心、互联网票务系统、综合监控系统、运营指挥中心等主要业务系统上线应用，在其基础上推出的嵌入式版本实现了车载系统轻量化便捷部署。目前，GBase数据库已在深圳、重庆、西安、成都、郑州、杭州、沈阳、济南等全国27座城市的70+条线路部署上线，为广大市民提供高效、便捷、稳定的地铁出行服务。<img src="https://g1.cdn.gbase.cn/Uploads/FxCljqZREBF8Ej5Fa2gIK/2.jpg">4月11日下午，大会举行新品发布活动，展示城市轨道交通领域最新成果和技术进展。GBASE南大通用重点介绍了向量数据库GBase GCVD、仓湖一体GBase GCDW &amp; HD及GBase一体机三款创新产品。其中向量数据库支持大模型技术，能够在本地搭建专有知识库，并实现AI+DB的智能化运维；仓湖一体融合公司云原生数仓及数据湖产品，构建云原生大数据体系，推进数据湖和数据仓库一体化协同；数据库一体机以“开箱即用”模式助力城轨运营效率提升与成本优化。<img src="https://g1.cdn.gbase.cn/Uploads/xpi4dgRv9ZYWVGIcYUH4g/3.jpg">展会期间，GBASE南大通用展出了全栈自主研发的GBase数据库产品以及交通领域场景化解决方案，GBASE在各城市地铁线路的广泛应用以及丰富的服务经验成为与会嘉宾关注的重点。当前，我国城市轨道交通行业正处于数智化升级的关键阶段，稳步向管理效能提升、运营安全可靠度提高、服务质量升级迈进。站在轨道交通数智化变革的新起点，GBASE南大通用将持续深化核心技术的自主研发，加强数据库与人工智能、物联网等前沿技术的深度融合与应用，为城轨行业高质量发展注入“数据”动能，让出行更安全、更便捷、更智能。 &nbsp;

数据驱动智慧交通创新生态 GBASE南大通用出席第九届中国智慧轨道交通大会

近日，湖南省各级预算单位2024年操作系统、数据库框架协议采购项目入围结果对外公示：GBASE南大通用旗下数据库GBase 8s V8.8入围分包3：集中式数据库；GBase 8a MPP Cluster V9入围分包4：分布式数据库。<img src="https://g1.cdn.gbase.cn/Uploads/vsw1ZcABzkzWejdkyn1gK/1.png">近期，GBASE南大通用已相继入围央采及北京、广东、安徽、云南、吉林、四川、新疆、广西、山西等省份的数据库框架协议采购。&nbsp;中央国家机关2024年度事务型数据库软件框架协议联合征集采购<img src="https://g1.cdn.gbase.cn/Uploads/9i6XvB_5UFJj0e2gdbxnS/2.png">GBase数据库全栈产品全部入围中央国家机关2024年度事务型数据库软件框架协议联合征集采购项目，为中央国家机关及北京、广东、安徽、云南、吉林五省的各级行政单位提供供安全、高效的国产数据库解决方案。&nbsp;2024-2025年度山西省基础软件框架协议采购GBASE南大通用入围2024-2025年度山西省基础软件框架协议采购项目：GBase 8s 入围数据库（集中式）分包，GBase 8a MPP Cluster 入围数据库（分布式）分包。<img src="https://g1.cdn.gbase.cn/Uploads/Vwp0Qb_M3byrSvA2xTFx6/3.png">&nbsp;新疆维吾尔自治区行政事业单位数据库2025年框架协议采购GBASE南大通用入围新疆维吾尔自治区行政事业单位数据库2025年框架协议采购项目：GBase 8s V8.8入围分包1集中式数据库，GBase 8a MPP Cluster V9入围分包2分布式数据库。<img src="https://g1.cdn.gbase.cn/Uploads/HTMizSa_oFAUQPhnaF5yP/4.png">&nbsp;四川省2024年基础软件框架协议采购GBASE南大通用入围四川省2024年基础软件框架协议采购全部数据库分包：GBase 8a入围包1：分布式数据库；可视化集群双活同步工具GVR入围包1：耗材配件；GBase 8s入围包2 ：集中式数据库。&nbsp;<img src="https://g1.cdn.gbase.cn/Uploads/-RexCXUGQVL7jiRhukdkj/5.png">&nbsp;广西壮族自治区2024年信息类产品框架协议采购（数据库）南大通用GBase 8s数据库入围广西壮族自治区2024年信息类产品框架协议采购（数据库）集中式数据库标项。<img src="https://g1.cdn.gbase.cn/Uploads/qOd0d01rXmYCB_Hv527Kz/6.png">除省级框采外，GBase数据库已入围深圳、厦门、大连、宁波等全国多个城市的数据库框采。未来，GBASE南大通用将在助力政务信息化道路上持续探索，赋能政府治理与社会服务水平提升，为政府信息化建设插上国产化数智羽翼。 &nbsp;

赋能政务信息化 | GBASE南大通用入围全国多地数据库框采

近日，工信部赛迪顾问正式发布 2024 年《中国金融行业数据库市场研究报告》，对金融领域数据库厂商的主打产品、技术路线、典型项目、优势分析等进行详细解读。报告指出，GBASE南大通用在金融行业用户渗透率第一。银行、保险、证券三大细分市场中，GBASE南大通用是唯一一家在集中式以及分布式领域均排名前列的数据库厂商 ，展现了GBase数据库在金融行业的全面应用与领先水平。<img src="https://g1.cdn.gbase.cn/Uploads/Zz4JBy8VfOojpcdAY8erM/微信图片_20250115112947.jpg">作为核心基础软件的数据库一直是金融信息化建设中的重点。报告显示，2023年中国金融业数据库管理系统市场规模达到68.5亿元，增速达到18.3%，随着金融信息化的不断深入以及国产数据库在金融业中应用的逐渐成熟，中国金融业数据库市场将保持快速增长，预计到2026年，市场规模将达到112.6亿元。&nbsp;GBASE深耕金融十余载 用户渗透率第一金融行业作为中国数据库市场的重点应用领域，市场空间大、技术要求高、应用场景丰富，历来是数据库厂商的“兵家必争之地”。<img src="https://g1.cdn.gbase.cn/Uploads/R5uyz5LSitQ699DeHQiia/1.png"><img src="https://g1.cdn.gbase.cn/Uploads/5StQO_5uIJVeinagfEBGv/2.png">金融行业四象限图GBASE南大通用作为国内最早在金融行业商用的国产数据库厂商，自2013年打破国外垄断首次承担信息化项目，至今已深耕金融行业十余载，自主研发的分布式数据库（OLAP）、分布式数据库（OLTP）、集中式数据库（OLTP）在银行、保险、证券领域广泛应用,先后服务200+金融机构，部署数据库2万+套，深度服务于各金融机构核心业务系统、数据仓库以及一般业务系统、办公系统中，积累了丰富的项目实施与技术服务经验，已成为金融机构数字化转型的核心支撑力量。此前，国内知名专业媒体“第一新声”发布的《2024中国银行业数据库市场研究报告》显示，GBASE南大通用累计部署套数及累计用户数保持领先，银行业本地部署渗透率排名第一。&nbsp;银行、保险、证券细分市场 GBase数据库分布式、集中式领域均排名前列银行、保险、证券作为金融行业的“三驾马车”，是数据库的重要应用场景。在银行业，GBase数据库已服务政策性银行、大型国有银行、股份制银行、城市商业银行以及广大农商行、农信社等银行机构140余家；在保险业，GBase数据库已助力中国人保财险、中国人保寿险、阳光保险、中国再保险集团、中国农业再保险等头部保险机构实现数字化转型升级；在证券业，GBase分布式数据（OLAP）、分布式数据库（OLTP）、集中式数据库（OLTP）已经成功在多家证券机构各业务系统上线应用。<img src="https://g1.cdn.gbase.cn/Uploads/2pUs0cHBsiNCBMMTdeh7O/3.png"><img src="https://g1.cdn.gbase.cn/Uploads/XgiXUu1eIE0K8e22hl_Xt/4.png">银行业四象限图某国有大行基于GBase分布式数据库（OLAP）建设仓湖一体的全国产大数据平台，全面整合行内外数据，为数据资产的共享、分析应用、服务提供和价值创造提供全面、敏捷、精细的能力支撑。现已承载数据仓库、风险数据集市、审计系统、SAS 模型管理平台、监控标准化数据报送平台、报表系统等数十个应用，累计部署数千节点，管理数十PB业务数据。西南某城商行使用GBase集中式数据库（OLTP）共享存储高可用集群解决方案完成核心业务系统的国产化迁移，基于GBase分布式数据库（OLTP）实现对公/零售信贷业务、风控业务、未来银行、互联网中台等多个业务系统的分布式探索和创新升级，并基于GBase分布式数据库（OLAP）打造了流动风险管理系统和支付信息统计报送系统 。四川银行基于GBase集中式数据库（OLTP）高可用主备集群解决方案投产上线反洗钱系统，加快国产化“安全可控”监管落地施行，保证业务系统处理效率的基础上，提供良好的业务拓展性，增强数据存储和计算的准确和连贯，提高反洗钱工作运行效率，降低运营管理难度，保障业务合规性。&nbsp;<img src="https://g1.cdn.gbase.cn/Uploads/d-_vJ3ito6IKUbipMoGmf/5.png"><img src="https://g1.cdn.gbase.cn/Uploads/OHZXxFkfTDUBh5KytIjMp/6.png">保险业四象限图中国人民财产保险股份有限公司采用GBase分布式数据库（OLAP）重构系统，将原系统从TD一体机迁移至开放的X86硬件平台，通过大规模并行处理的架构解决存储资源和计算性能瓶颈，建设具备分布式计算和水平线性扩展能力的大数据平台，支撑ids数据湖、acrm、数据仓库、营销报表等系统。某保险公司核心业务系统基于GBase集中式数据库（OLTP）国产化升级改造，提升系统的自主可控能力和信息数据安全能力。在性能提升与高可用性之间达到极致均衡，为其数字化转型提供了完善的全栈国产化、自主可控的解决方案。&nbsp;<img src="https://g1.cdn.gbase.cn/Uploads/8NMLmuju93R6bK5QgV-pp/7.png"><img src="https://g1.cdn.gbase.cn/Uploads/HUa4lxxohIz9N_eJLFDA5/8.png">证券业四象限图某头部上市券商选用GBase分布式数据库（OLAP）完成对账单业务系统以及对外报送数据仓库的信创替换升级，全面提升系统的处理性能和综合分析能力，显著降低采购及运维成本，通过两地三中心架构保障系统运行的高可用性，实现了从软件到硬件的全国产化。某综合类证券公司选择GBase分布式数据库（OLTP）进行数据库升级，解决基础设施管理平台在高并发和响应速度等维度的瓶颈，显著提升高并发、高扩展和分布式事务处理水平，为自主可控平台的建设和数据安全防护提供有力保障。中泰证券引入GBase集中式数据库（OLTP）对业务系统进行信创化改造，实现应用“零”修改迁移，主备式部署支持逻辑复制，配置虚拟IP(VIP)和心跳检测保障系统可用性，并提供配套可视化运维管理工具，为持续推进其数字化战略规划落地打下坚实基础。&nbsp;未来，GBASE南大通用将持续深耕金融行业，深入核心业务场景，通过自主创新推动金融机构数据价值变现，为金融行业的高质量发展贡献“GBASE”效能。

数据驱动智慧交通创新生态 GBASE南大通用出席第九届中国智慧轨道交通大会

赋能政务信息化 | GBASE南大通用入围全国多地数据库框采

GBASE南大通用，中国金融行业数据库用户渗透率第一

GBase 8s数据库多读多写解决方案

GBase 8a MPP Cluster V9功能特性解析

GBASE闲谈 | 聊金融容灾方案（下）

GBASE闲谈 | 聊金融容灾方案（上）

Teradata迁移GBase 8a PoC实践

GBase 8c 分布式核心技术初揭秘—CDC数据同步

GBase 8c分布式核心技术初揭秘—在线扩容

数据泄露频发信息系统安全应如何守护

支持多模多态 GBase 8c数据库持续创新重磅升级

GBASE观察：扩展分析型数据库

数据驱动智慧交通创新生态 GBASE南大通用出席第九届中国智慧轨道交通大会

赋能政务信息化 | GBASE南大通用入围全国多地数据库框采

GBASE南大通用，中国金融行业数据库用户渗透率第一

GBase 8s数据库多读多写解决方案

GBase 8a MPP Cluster V9功能特性解析

GBASE闲谈 | 聊金融容灾方案（下）

GBASE闲谈 | 聊金融容灾方案（上）

Teradata迁移GBase 8a PoC实践

GBase 8c 分布式核心技术初揭秘—CDC数据同步

GBase 8c分布式核心技术初揭秘—在线扩容

数据泄露频发 信息系统安全应如何守护

支持多模多态 GBase 8c数据库持续创新重磅升级

GBASE观察：扩展分析型数据库

数据泄露频发信息系统安全应如何守护