首页

图片

分布式逻辑数据仓库GBase 8a

基于共享存储的数据库集群GBase 8s

多模多态分布式数据库GBase 8c

极速内存数据库集群管理系统GBase XDM

目录服务管理系统GBase 8d

统一数据平台GBase UP

云原生数据仓库GCDW

GBase产品

金融

电信

政企

党政

其他

客户案例

技术解决方案

ISV解决方案

解决方案

产品与方案

兼容适配

合作发展

生态合作

认证体系

认证培训

证书查询

GBase学堂

产品文档

产品试用

产品技术服务

投诉建议

漏洞公告

服务支持

GBase 8a

GBase 8c

GBase 8s

下载中心

服务与下载

社区

GBASE简介

企业荣誉

加入我们

素材下载

联系我们

关于我们

GBase动态

GBase荣誉

中标捷报

GBase专访

干货分享

GBase新闻

GBase培训

GBase活动

日前，GBASE联合墨天轮社区共同举办了《第一届GBASE技术文章有奖征文活动》。本次活动获得了社会各界朋友的广泛支持，数百次文章转发，6000多名用户参与投票，票选出了优选文章一、二、三等奖。某部直属单位运行管理部数据库工程师黄永厚撰写的《数据平台开启转型之路：GBase 8a在复杂查询场景下的性能实践》获得1708张选票，荣获优选文章一等奖。<img src="https://www.gbase.cn/files//group1/M00/00/64/wKgCBWRAT-GAa0nZAAjUef9JrGc142.jpg" title="1653360722109274.jpg" alt="一等奖.jpg"/>作者介绍黄永厚-某部直属单位运行管理部数据库工程师从事数据管理二十余年，主要与Oracle数据库打交道，经历过疯狂的东方龙马Oracle时代（Oracle716/734/817等等），主持过基于PostgreSQL的国产数据库产品的研发。对数据库产品的性能优化和高可用建设较为关注，积累了一定经验。黄永厚表示：为构建可持续的业务发展，计划引入MPP数据库集群架构，承接现有和未来的海量结构化数据复杂分析查询，从而优化核心数据库平台资源利用。数据库国产化转型是最近几年的技术热点，无论是从技术角度还是从行业政策角度来说，均会对我们自身的数据平台可持续未来发展产生重要影响。通过开展POC原型验证测试和技术储备积累，加速推动数据库平台国产化转型，也希望可以为同行提供一定的借鉴。GBase 数据库印象本人于2018年底开始接触和深入了解国产数据库产品和开源数据库产品的发展，重点关注了解了南大通用-大规模分布式并行数据库集群系统GBase 8a后发现，在国内分析类MPP数据库市场，GBase 8a的应用较为广泛。2021年5月，抱着系统学习和了解的心态报名参加了GBase 8a线上学习训练营。源于职业习惯和爱好，个人部署了一套较为简陋的环境进行原型验证测试，从而验证了不同种类的数据库产品优势所在。对于分析类的数据需求，数据加载效率、数据类型兼容性、结构化查询友好性以及复杂查询性能，就此类指标整理此篇文章，让我对国产数据库产品的性能也有很大的改观。国产数据库发展看法和建议从长远视角而言，数据库国产化替代是必然结果。目前在保证业务连续性的前提下，对各大主流国产数据库和开源数据库产品开展调研、测试和原型验证。条件允许的情况下，会选择合适的业务部署使用国产数据库产品，以便为核心业务的更换积累迁移和运行经验。但目前对于国产数据库厂商而言，用户往往将他们的产品直接和Oracle此类老牌企业级数据库产品相比，在某种程度而言相当不公平。因此也面临着以下几个问题：1. 数据库研发对人才要求很高，要有很高很深的知识面和丰富的数据管理经验，闭门造车和纯理论派都很难造出市场真正需要的数据库车轮子。人才的缺乏，是当前亟待解决的问题，这也意味着需要很高的投入。2. 数据库产品路线图规划：客户往往关注操作友好性（用户习惯延续性）、数据一致性、数据零丢失、高可用、集群、灾备、备份与恢复、数据导出导入以及数据迁移等数据库运维常常涉及的主要环节。随着互联网和物联网的广泛使用，现在的企业数据与20年前相比，基本翻了几十倍，TB级数据已具有普遍性。对数据库产品来说，多节点、云原生、K8s容器化等要求逐渐成为主流趋势，伴随而来的就是数据路由等辅助产品的研发。目前大多数行业的核心业务市场还是集中在关系型数据库上，不管是传统的单机型关系型数据库，还是最近崛起的分布式关系型数据库、云原生分布式关系数据库、云原生HTAP数据库，数据库产品经理都要在功能上达到平衡。数据库产品的设计首先要保证能用，然后实现好用，如果能做到这一点，最起码可以成功一半。数据库的技术门槛较高，但像MySQL、PostgreSQL等开源数据库，入门门槛相对较好，但是作为一名从业多年的DBA，想对新入行的同行说：数据库往往是整个技术架构的单一核心，可用性要求非常高，内部机制繁杂，往往涉及到底层存储、网络、操作系统以及多变的业务逻辑、海量数据处理、高性能的查询响应、零数据丢失、灾备等交叉影响。系统地学习数据库的系统管理、性能优化和内部机制，是非常有助于自身的快速成长。

GBase技术征文大赛 优选一等奖是如何练成的

关于金融行业的容灾方案，上一篇<a href="https://www.gbase.cn/news/3349">【GBASE闲谈 | 聊金融容灾方案（上）】</a>我们讲述了冗余表现中的存储安全和服务安全，本篇我们来聊一聊传输安全是怎样实现的？传输安全 - 不中断传输的中断主要来源于两个原因：网络中断或是物理性机房损毁。在这种情况下，我们需要的是系统级别的冗余，也就是双中心容灾配置。事务处理引擎：在事务处理引擎方面，GBase 8s提供同城近距离复制和远程异步复制技术，完成系统损毁级的容灾方案。同城近距离复制方案我们称之为HAC复制方案。HAC 工作的基本原理：当主数据库服务器开始将共享内存中的逻辑日志缓冲区的内容刷新到磁盘上的逻辑日志时，数据库服务器也将逻辑日志缓冲区的内容复制到主数据库服务器上的数据复制缓冲区。然后主数据库服务器将这些逻辑日志记录发送至 HAC 辅助数据库服务器。HAC 辅助数据库服务器将来自主数据库服务器的逻辑日志记录接收到共享内存接收缓冲区（数据库服务器自动将接收缓冲区调节至适当的大小以适合正在发送的数据量）。然后辅助数据库服务器在整个逻辑恢复中应用逻辑日志记录，并将这些记录应用到其自己的数据库空间。HAC 数据复制支持同步或异步两种方式。同步更新方式：一旦主数据库服务器将逻辑日志缓冲区内容写入 HAC 缓冲区，它会将那些记录从缓冲区发送至 HAC 辅助数据库服务器。仅当主数据库服务器接收到来自 HAC 辅助数据库服务器的确认（已收到记录）之后，主数据库服务器上的逻辑日志缓冲区清仓才会完成。使用同步更新时，如果发生故障，那么在主数据库服务器上提交的事务在 HAC 辅助数据库服务器上不会仍未提交或部分提交。异步更新方式：主数据库服务器在将逻辑日志缓冲区内容复制到 HAC 缓冲区之后会清仓逻辑日志缓冲区。（与上述操作无关）当发生以下条件之一时，主数据库服务器在整个网络上发送 HAC 缓冲区的内容：• HAC 缓冲区变满。• 自上次将记录发送至辅助数据库服务器以后，配置参数在主数据库服务器上指定的时间间隔已过去。<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WAJRqqAADWL39Tqhw217.png" alt="1.png">某头部保险公司国产化OA系统搭建示意图通过HAC搭建实现了部分关键国产产品的首次适配。东方通中间件与南大通用GBase数据库的适配；OA系统与南大通用GBase数据库保险行业适配。远程异地复制方案我们称之为RHAC复制方案。RHAC在很多方面都与 HAC 相似。将日志发送到 RHAC辅节点的方式与主服务器将日志发送到 HAC 辅助服务器的方式很相似。但是，RHAC 采用 SMX 异步通信框架，因此其对主服务器的影响达到最小。出于该原因，主服务器和 RHAC 辅助服务器之间事务落实或检查点是异步进行的。RHAC通过提升为 HAC 辅助服务器，实现最终提升为主服务器，从而接管远端主服务器，完成异地服务接管功能。某调度云平台通过RHAC实现1600公里容灾的配置方案：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WAe4a7AAIUi44zmvs137.png" alt="2.png">通过上千公里远程异地容灾方案建设，实现本地、异地读写分离双活集群秒级数据同步，产品上线运行至今，在稳定性、高性能、高可用方面完全超预期满足了客户核心业务支撑运行，为远程异地双活国产化建设提供了示范和参考。分析处理引擎：在分析处理引擎方面，GBase 8a提供多集群复制技术，完成异地容灾方案。举一个金融行业唯一上线的利用GBase 8a搭建的高可用MPP数据库双活集群的例子，配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7WANjGVAAKBe55NqyQ244.png" alt="3.png">•&nbsp;查询与批量分离设计：1、业务上实现查询和批量并行，两个集群互不影响；2、A集群处理批量，B集群进行联机查询。• 同步方案设计：1、基于集群间同步工具的一致性方案设计；2、基于镜像集群的实时一致性方案设计。通过搭建高可用MPP数据库双活集群，数据查询与批量加工分离，提升数据处理和数据服务能力。通过支持增量数据同步、准实时同步以及文件块同步，提高了系统升级、灾备、异常处理过程中的业务连续性。总结容灾全方面解决方案在事务引擎方面通过磁盘保护、服务提供保护和灾难性传输中断保护来提供。以GBase 8s为例，其逻辑配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7aAE5ISAAF4llOOfiY551.png" alt="4.png">下面是某城商行的配置实践：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eAZqd-AAKoCIc7nOo687.png" alt="5.png">在分析引擎方面通过多副本、池化管理节点和多集群同步来提供。以GBase 8a为例，其逻辑配置如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eANSPrAAFJE00Cd18853.png" alt="6.png">下图是某资金清算中心为全国30家农村合作金融机构及其数万个网点提供汇兑、银行汇票、个人账户通存通兑等业务的资金清算的北京-长沙双中心的配置实践：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7eAYcCgAAFX8lFhSb0879.png" alt="7.png">通过GBase 8a多集群支持能力，保证两中心数据同步。天津南大通用数据技术股份有限公司从2004年设立之初，就以数据安全为产品研发的基准。推出的第一款数据库命名就是“安全数据库”。通过近20年的努力，专注于数据库的国产化建设，主线产品全部实施国产生态适配，几乎涵盖了所有的国内通用平台：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAWHhAAANpIBOYoaU446.png" alt="8.png">由于对数据的全方位呵护，多样化的容灾解决方案。GBASE南大通用提供给客户灵活多变的容灾系统构建方案，受到客户的信任，目前用户已遍及三十余个国家及地区，国内32个省份，运行节点数超过30000个，总数据量&gt;300PB。我们对容灾的追求不仅仅停留在秒级RTO上，我们的追求是永不中断！&nbsp;

GBASE闲谈 | 聊金融容灾方案（下）

前两天在网上翻阅资料时，看到一篇讲数据库容灾方案的文章，标题醒目地写着 “秒级RTO容灾方案”，通篇围绕“秒级”这一概念讲述容灾。这让我很是诧异，容灾应是牺牲生产小部分效率增加冗余，以实现信息系统整体的数据安全，保证系统的稳定运行。诚然，RTO是很重要的容灾评判指标，一个容灾方案应讲述全方位容灾系统所提供的系统数据呵护，保证系统每一个环节的可用性，以达到24*7系统不间断运行的目的为佳，而不应当仅强调速度这一个指标。在我看来，容灾方案应该是由有效的容灾系统来表述的。由“科普中国”科学百科词条编写与应用工作项目审核通过的百度词条描述的容灾系统如下：“容灾系统，对于IT而言，就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时，容灾系统将保证用户数据的安全性（数据容灾），甚至，一个更加完善的容灾系统，还能提供不间断的应用服务（应用容灾）” 。由此可见，数据保护才是容灾的目的，提供不间断服务是容灾的成功有效的表达。那么，如何做到全方位的系统数据呵护呢？我们知道一般情况下信息系统主要构成有三大块：存储、处理服务和传输。作为一个容灾方案要保证每个环节都安全，实际上就是在这三个环节都施放冗余，以达到系统整体不中断的述求，以满足金融行业“5个9”的要求。这三个方面的冗余表现为：1、存储安全 - 不中断：通过数据冗余完成；2、服务安全 - 不中断：通过数据库服务器冗余完成；3、传输安全 - 不中断：通过系统冗余完成。以GBASE南大通用为例，让我们看看一个全面的容灾系统是如何搭建的。我们知道，一般的数据库信息系统，我们会分为事务型处理系统和分析型处理系统两类。对应的GBASE有两个不同的数据库服务引擎：事务处理引擎和分析处理引擎，它分别是GBase 8s和GBase 8a。下面让我们分别看看这两个数据库服务器引擎在处理事务型数据和处理分析型数据的时候，容灾方案的构成情况，以说明它们如何保护我们的数据安全，做到真正的意义上的细致呵护，达成容灾使命的。存储安全 - 不中断大部分情况下，大家对存储级别的保护都会选择RAID5。RAID5确实是对于磁盘数据保护尤其是恢复有帮助，但如果不是盘阵的话，数据库层面的保护对于重要数据的逻辑性校验，会显得保护更加有效。在事务处理引擎方面，GBase 8s提供磁盘镜像技术，对重要数据做磁盘级别的冗余，保证数据不仅数值的正确性，也保证了逻辑的正确性。在分析处理引擎方面，GBase 8a提供的多副本技术，对数据做存储级别的冗余，保证数据的提供不间断。需要说明的是，磁盘镜像和节点数据冗余在磁盘层面和数据库层面是有区别的，磁盘层面不会做逻辑性校验。服务安全 - 不中断事务处理引擎：服务不中断体现在事务处理引擎上的表达为共享集群，我们称其为SSC集群，当主服务server故障时，SSC的备选server可以立即接管。备选server的数量可定制，一般选用2-3个备选server，作为主server的冗余，整个集群共享一份数据。搭建情况如下图：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAG_jAAAErKdghsQs668.png" alt="1.png">SSC采用备选节点和主机共享磁盘方式，避免了数据重复存储的问题，节省了空间，同时安装、配置更加简单。而且，当主机发生故障后，它可以快速实现接管，另外，我们可以非常容易地配置多个 SSC备选节点，实现了负载均衡的功能。由于SSC备选节点利用了主服务器的磁盘并且可以轻松快速地启动，因而非常适合规模扩展场景，由于 SSC备选服务器非常接近主服务器（即它们共享相同的磁盘），因此最适合在主服务器遇到问题时作为故障转移服务器。SSC集群工作的基本原理：对于 SSC 辅助服务器，主服务器只需将逻辑日志页的日志位置发送到 SSC 辅助服务器。通过使用从主服务器接收到的日志位置，SSC 辅助服务器从磁盘读取逻辑日志页，并将其应用于内存数据缓冲区。SSC 辅助服务器不会向共享磁盘块中写任何东西，不会将共享内存的数据刷新到磁盘，即使是发生 checkpoint 操作也一样。如果SSC 辅助服务器需要刷新共享内存数据，他们会备写到临时的‘ paging file ’ 中，直到下一次 checkpoint 操作才清空‘ paging file ’。同时，主服务器不会清仓共享内存中的数据页，直到确认SSC辅助服务器不再需要该数据页才会清仓到磁盘上。下图是某农商行中间业务国产化的搭建方案：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7iAbXIQAAIe5HMB3aY823.png" alt="2.png">该方案采用了全国产配置，承载ETC充值业务、渠道服务整合、业务流量控制等中间业务。通过SSC配置方案既满足了7*24小时业务连续性需求，具备故障秒级自动快速切换的能力，又实现了负载均衡的能力。达到了：• 高性能：亿行级表响应时间为毫秒级，满足平台业务高峰处理能力；• 高可用：故障透明自动快速切换，切换时间小于30秒，保障业务系统的连续性和安全性；• 高稳定：保障银行涉钱交易业务7*24业务需求；• 国产化：全国产平台一体化解决方案分析处理引擎：服务不中断体现在分析处理引擎上的表达为联邦架构形式。GBase 8a MPP Cluster产品总共包含三大核心组件——分布式管理集群GCWare、分布式调度集群GCluster和分布式存储集群GNode。它们的功能分别为：GCluster：负责SQL的解析、SQL优化、分布式执行计划生成、执行调度。GCWare：用于各节点GCluster实例间共享信息(包括集群结构，节点状态，节点资源状态等信息)，以及控制多副本数据操作时，提供可操作节点，控制各节点数据一致性状态。通常GCluster与GCWare组件部署在相同的物理节点上，统称coordinator。coordinator提供池化管理，多个coordinator server放置于管理池中公用，任何一个节点服务的问题均不会影响系统的正常运行，无需切换。联邦架构的搭建形式如下：<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7mAL4hFAAE5iJFCKMU902.png" alt="3.png">联邦架构的优势-无停顿运行，协助上百家金融机构安全平稳开展业务，极高的可用性，使得GBase 8a成为金融界采购分析型数据库的首选。<img src="https://www.gbase.cn/files//group1/M00/00/63/wKgCBWRAT7mALYhZAANG86CEGdY866.jpg" alt="4.jpg">

GBASE闲谈 | 聊金融容灾方案（上）

随着TeraData宣布退出中国市场，众多用户纷纷考虑正在使用的数据库的迁移问题。数据库迁移，考察的是数据库厂商的配套工具、方法论、实施经验，不仅仅要求转换成功率高，转换效率高，也要求转换后可执行，执行结果要准确。近几年，GBase完成了100+用户TeraData等国外数据库替换迁移，积累了多个项目的迁移经验，以转换高、精、准而收到合作伙伴或厂商的好评。以2022年某金融用户的POC测试为例：转换内容包括DDL、视图、批量Perl脚本，转换的数量在PoC中也是算是偏多的，包括600多个DDL、视图，超过100个Perl脚本。最终转换成功率、转换成功率均考核达标，DDL、视图转换成功率达到99% ，Perl脚本的转换成功率要求达到85%，且即转即用，不能做任何修改，转完即跑，跑则能对。这种转即用的迁移，做过数据库迁移的厂商都知道这意味的什么，那种靠铺众多人力手动迁移的情况不能也不会发生在Teradata到GBase 8a迁移产品上。数据库系统迁移，包括如下的几部分核心工作，从Teradata到GBase 8a的迁移也遵循此规则，主要步骤按照先后次序为：<ul class=" list-paddingleft-2" style="list-style-type: disc;"><li>从Teradata按照要求导出数据，导出要求数据的列分隔符、包围符、空串与NULL值的区分、字符集等指标要提前规划；</li><li>从Teradata数据库对象的导出，包括DDL、视图、函数等；</li><li>客制化GBase 8a的迁移工具，最大化覆盖贴合于客户特点的编写语法写作特点，最大化的提升转换成功率，客制化时间可控制在3天到5天内完成。</li><li>在GBase侧建立数据库对象；</li><li>根据Perl脚本中的SQL语句，使用工具来重建数据分布键值，默认采用原Teradata中的index作为分布键；</li><li>导入GBase 8a从Teradata落地后的文本文件，并注意左空格的保留，注意日期的存储格式，注意大小写不敏感等信息；</li><li>迁移Perl脚本到GBase 8a；</li><li>迁移后处理结果Teradata于GBase 8a结果比对；</li><li>迁移到GBase 8a后性能极致性优化；</li><li>Teradata于GBase 8a的并行运行，确保稳定、数据无误；</li><li>正式切换到GBase 8a，完成数据库系统的迁移；</li></ul>在本次的POC中，由于GBase 8a与Teradata的高度兼容性，涉及到迁移内容不多，如下面两个部分的罗列，这些迁移都通过工具自动完成，迁移成功后，可直接运行。DDL、视图迁移该部分迁移，主要包括表类型关键字的处理，字段类型的处理，字段约束、字符集的处理、以及Teradata其他DDL特殊数据处理内容，具体为：表类型：CREATE [MULTI]SET TABLE直接改为CREATE TABLE，CREATE GLOBAL TEMPORARY TABLE改为GBase的物理表，CREATE VOLATILE TABLE 是SESSION级临时表，改为GBase TEMPORARY表；常见数据类型：99%可以通用，cHAR、VARCHAR、DATETIME、DATE、TIME、TIMESTAMP、DECIMAL、INT等；字符集：迁移成统一的字符集，可以是GBK、UTF8等GBase支持的字符集，包括GBK、UTF8、UTF8MB4、GB18030等；大小写不敏感：关键字UPPERCASE、NO CASESPECIFIC直接去除并记录表、字段信息，同时在脚本中对应字段的比较操作进行UPPER或者LOWER操作；其他表信息：需要去除，包括FALLBACK、JOURNAL、CHECKSUM、MERGERBLOCKRATIO、FREESPACE等信息。PRIMARY INDEX信息：转化为GBase 8a的分布键；COMPRESS压缩信息：直接去除，改为表级的默认中度压缩，不带副本可以达到4.4倍压缩；TITLE注释：改为COMMENT关键字；脚本迁移主要涉及语法、函数的处理，该去除的去除，该替换的替换，由于GBase 8a也是关系型数据库，支持标准的SQL，所以超过90%的SQL语法可以不用任何修改而直接使用。包括如下内容：缺少的函数：NVL2、RANK，其中NVL2函数用UDF函数替换，RANK改为RANK OVER，替换的函数：CHAR、CHARACTER函数对应GBase 8a的Length函数，ZEROIF、IFZERO函数替换GBase的IFNULL、NULLIF，FORMAT的用法在TD中比较广泛，迁移到8a时需要根据具体的不同用法进行对应修改。排序顺序及NULL空值的位置：DESC:TD空排在最后面，GBase 8a空排在最前面（迁移时要加NULLS LAST）ASC: TD空排在最前面，GBase 8a空排在最后面（迁移时要加NULLS FIRST）日期格式化处理：主要用到GBase的DATE_FORMAT、STR_TO_DATE、DATE函数来处理，均可以通过转换工具自动转换。别名依赖：目前GBase支持投影列中的别名，但对于WHERE条件、OLAP中的别名还需转换工具进行替换。总括上述技术迁移点，从Teradata到GBase的迁移，通过工具自动完成迁移后，即可完成差不多超过95%的工作量，再对极少数工具没有覆盖且语法特点毫无规律的内容进行手动修改完成整体迁移。基于丰富的迁移经验及高精度的转换工具，GBase 8a产品可以说在替换Teradata数据库方面已经非常成熟，对于迫切替换Teradata的用户可以随时联系GBase 8a，一流服务在等着你。关于GBase 8aGBase 8a是南大通用自主研发的，面向海量数据查询分析应用领域的一款高性能国产分布式逻辑数据仓库，用于满足各个数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等数据存储、管理和处理需求，可用做数据仓库系统、BI系统和决策支持系统的承载数据库。产品主要应用在金融、电信、z政企、能源、安全等拥有海量业务数据的行业得到规模化应用。

Teradata迁移GBase 8a PoC实践

客户案例

解决方案

下载中心

GBase新闻

GBase活动

GBase新闻

GBASE闲谈 | 聊金融容灾方案（下）

GBASE闲谈 | 聊金融容灾方案（上）

Teradata迁移GBase 8a PoC实践

GBase技术征文大赛 优选一等奖是如何练成的

GBase技术征文大赛优选一等奖是如何练成的