为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第3期，进一步阐述分布式分析型数据库的部署架构。1、部署架构GBase 8a产品提供多种部署形式，来满足行业项目生产环境上各种架构的需求。特别是规避业务间资源干扰，双活容灾等安全要求，也满足“信创”对不同软硬件混用的要求。GBase 8a 产品各种部署形式使用的技术和适用的场景如下表所示。表1&nbsp;GBase 8a MPP Cluster 部署模式<img src="https://cdn.gbase.cn/Uploads/V6VVh5Dd36j2O8PiBEWA4/1.png">GBase 8a单VC部署架构单VC部署是所有数据共用所有的计算资源。如图1所示。<img src="https://cdn.gbase.cn/Uploads/Zzzlqm__eh_CGXpsWjB_G/2.png">图1&nbsp;GBase 8a 单VC部署架构图GBase 8a多VC部署架构根据业务或者软硬件情况和要求，分割成多个计算资源完全隔离的VC，所有VC由管理集群统一管理。如图2所示。<img src="https://cdn.gbase.cn/Uploads/wG46apvOk4tr8rXcsCasE/3.png">图2&nbsp;GBase 8a 多VC部署架构图GBase 8a 双活（同数据中心）部署架构为保障高可用或实现读写分离，通过镜像技术，让两个VC的指定库或表，拥有实时相同的数据。当一个VC所在机房整体出故障时，另一个机房的VC可以继续提供服务。如图3所示。<img src="https://cdn.gbase.cn/Uploads/Y22aX80wXLdOk_-ti3j3h/4.png">图3 GBase 8a 双活（同数据中心）部署架构GBase 8a双活（异地灾备）部署架构部署在不同数据中心的两套集群，通过GBase的同步工具，实现指定表的全量和增量同步。减少某个数据中心整体故障的影响。如图7所示。集群间同步工具属于异步同步，一般用于实时性要求不高的场景，主集群用于读写，备集群用于读。<img src="https://cdn.gbase.cn/Uploads/vGoJAzGAW6-eaL9nkKVJx/5.png">图4 GBase 8a双活（异地灾备）部署架构图GBase 8a两地三中心部署架构通过综合利用本地双活和异地容灾，部署两地三中心的方案，实现更高的数据安全保障。如图5所示。•&nbsp;主数据中心通过镜像实现实时双活； •&nbsp;备数据中心和主数据中心间通过同步工具实现了异步方式数据同步的准实时的双活容灾。<img src="https://cdn.gbase.cn/Uploads/2Y0iODKmGCR4M9O-zW_EL/6.png">图5 GBase 8a两地三中心部署架构2、多实例部署随着近年来硬件发展迅速和国产化进程，硬盘由HDD的普遍使用到现在SSD的普遍使用，国产芯片 NUMA架构的通用，CPU由以前常见的16核、24核到现在64核、96核，行业软硬件的国产化替代等背景环境下，GBase 8a 产品在国产高配服务器（通常采用非统一内存访问架构，简称NUMA架构）上部署时，采用了新的部署架构：多实例部署架构，来适应国产高配服务器。多实例部署架构主要应用于如下场景： •&nbsp;当服务器采用NUMA架构并具有多个NUMA节点时，单个数据库实例频繁的跨NUMA节点访问内存资源，性能不是最优； •&nbsp;单个数据库实例无法发挥SSD/NVME等新硬件的处理能力； GBase 8a MPP Cluster V9.5.3版本正式提供多实例部署功能。通过在一个服务器上部署多个数据库实例（gnode实例）的方式可以解决上述服务器硬件性能无法充分利用的问题，进而提升集群的性能。多实例部署架构非多实例部署情况下一台服务器上部署一个gnode实例；多实例部署情况下，一台服务器上部署多个（通常情况下建议是2到4个）gnode实例，每个gnode实例需分配独立的IP，由不同的IP区分不同的gnode实例。如图6所示<img src="https://cdn.gbase.cn/Uploads/8ZgQdVUvmATRwA0vtyJO6/7.png">图6 多实例部署架构图3、网络拓扑网络平面类型GBase 8a MPP Cluster的网络部署规划可划分为2个物理隔离的平面网络，分别是数据平面网络和业务平面网络。如图10所示。•&nbsp;数据平面网络用于集群内部的数据运算及集群管理，也叫集群内部网络； •&nbsp;业务平面网络用于业务系统访问，也叫集群外部网络；<img src="https://cdn.gbase.cn/Uploads/GkGvbe95wsmAezQm_yYIZ/8.png">图7 &nbsp;GBase 8a MPP Cluster网络部署规划图组网方案通常建议采用两平面网络的组网方案，数据交互服务器（FTP/HTTP/HDFS等）部署在数据平面网络。集群内部网络采用10GE带宽及以上的以太网络，内部网络汇聚交换机采用40GE带宽；集群外部网络需根据业务并发量、数据量等需求进行网络带宽的设置，如不涉及大量数据交换的大数据平台建议使用1GE及以上的千兆网络即可。&nbsp;

GBASE金融应用指南3 | GBase 8a MPP Cluster 部署架构

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第2期，在上一期介绍分布式分析型数据库的特点分类，及金融行业应用场景的基础上，进一步介绍金融行业应用的分布式分析型数据库的系统架构，以及与之对应的GBase 8a MPP Cluster产品架构。分布式分析型数据库逻辑架构1、系统架构金融行业常见的系统架构如下图所示。<img src="https://cdn.gbase.cn/Uploads/BqEHjJZTO31f5UMxdCf_C/1.webp.jpg">金融行业常见的系统架构数据交换层：用于汇总前端生产系统中的各类数据，避免跨系统操作影响业务运行，保证核心系统中的数据的真实性、完整性和唯一性；提供多种数据集成方式，满足批量数据、实时数据的入库需求。数据处理层：通常采用Hadoop+MPP的数据仓湖架构。–&nbsp;Hadoop通常作为ODS数据库、数据湖使用，用于原始数据汇聚和存储、数据规范化处理、积累全量数据截面、沉淀历史数据资产、处理非结构化数据等。–&nbsp;MPP通常作为数据仓库，负责结构化数据的高性能统计分析。在MPP中通常按照数据库仓库模型对业务数据进行逻辑分层加工处理。分析后的结果数据通过导出、DBLink、虚拟集群跨业务访问等方式提供数据给上层服务使用。数据集市层：通常存储为特定用户预先计算好的数据，即数据处理层的分析结果提供给数据集市，结合本地数据进行二次加工分析，满足用户特定主题域的需求，如报表查询服务。数据服务接口层和数据应用层：对前端业务提供数据访问接口和查询服务。GBase 8a MPP Cluster在金融行业的系统架构中主要用于数据处理层和数据集市层。2、GBase 8a产品架构GBase 8a MPP Cluster产品架构图如图所示<img src="https://cdn.gbase.cn/Uploads/1MKTSt_AwW-nQgVhWF3JA/2.webp.jpg">GBase 8a MPP Cluster产品架构图GBase 8a MPP Cluster采用MPP + Shared Nothing 的分布式联邦架构，包含分布式管理集群GCWare、分布式调度集群GCluster和分布式存储计算集群GNode三大核心组件。主要功能特性如下：•&nbsp;高性能：列存、行存列、HASH索引–&nbsp;采用列存储、压缩、智能索引技术；在数据仓库场景下通常采用中度压缩算法提供1:3到1:5的压缩比；–&nbsp;采用行存列降低select *场景下的I/O量；–&nbsp;采用HASH索引、数据排序等手段提高等值查询性能；–&nbsp;MPP多节点并行，性能随集群规模线性提升；–支持向量化计算，提高计算速度。•&nbsp;跨业务集群管理和交互：虚拟集群、DBLink–&nbsp;虚拟集群通过统一的管理集群实现对多个计算集群的统一管理、统一访问入口、统一用户权限控制，多个计算集群间资源隔离。支持用户跨计算集群进行数据的访问与计算。在多个业务系统间数据关联性较高时，可采用虚拟集群方式进行数据管理；–&nbsp;提供DBLink支持不同集群间的DBlink访问，实现跨集群的数据流转，实现对远程数据库的查询以及远程数据与本地数据的关联运算等。•&nbsp;高可用能力：联邦架构无单点、备份恢复、双活集群、在线节点替换–&nbsp;联邦架构无单点：所有组件采用Active-Active多活部署，避免了单点性能瓶颈和单点故障；–&nbsp;备份恢复：提供实例级、库级、表级的备份和恢复功能，支持全量、增量备份和恢复；–&nbsp;双活集群：支持实时双活、异步双活方案。通过虚拟集群镜像技术，支持两个计算集群间的表级数据实时复制。提供集群间同步工具实现两个集群间的数据异步一致性同步，点对点的基于二进制文件进行增量同步具有较高的同步性能，同时支持异地双活部署，支持两地三中心部署；–&nbsp;在线节点替换：具有在线不停服的节点替换能力，故障节点替换过程中，支持集群执行DQL/DML/DDL操作。•&nbsp;高扩展能力：在线扩展–&nbsp;集群扩展过程无需停服，扩容期间支持对扩容操作的监控、暂停、恢复、取消。满足业务实时在线要求和降低集群扩容对业务的性能影响。•&nbsp;数据集成能力：高性能批量加载、实时数据入库、hadoop集成–&nbsp;高性能批量加载：基于策略的数据加载模式，采用副本链式转发、P2P多点传输、多加载机并行等方式可提供30TB/小时的加载性能；支持HTTP、FTP/SFTP、HDFS、Kafka、S3等多种数据源及网络协议，支持文本、ORC、Parquet、gzip、snnapy、lzo等多种压缩格式。支持从HDFS加载数据和导出数据到HDFS，方便与Hadoop集群进行数据交互；–支持外部表，可实现直接读取HDFS、S3、FTP等数据源的开放格式数据文件进行直接计算；–&nbsp;实时数据入库：内置Kafka Consumer组件可以消费Kafka中的实时消息数据；提供GBaseRTSync工具实现从OLTP数据库到MPP的实时数据同步。•&nbsp;安全能力：权限管理、用户安全、透明存储加密、脱敏–&nbsp;提供完善的用户认证及权限管理；–&nbsp;数据加密存储在文件系统中，支持表级、列级加密，支持SM4国密算法，满足数据安全要求；–&nbsp;提供动态数据脱敏功能，通过权限控制原始数据的可见范围，简化了数据库应用层的安全设计和编码。•&nbsp;基于机器学习的数据挖掘能力–&nbsp;提供机器学习扩展库插件，实现机器学习算法集成，对用户数据进行深层次的分析和挖掘；–支持Python、C/C++的UDF/UDAF，可实现算法函数扩展，满足用户自定义数据挖掘分析需求。•&nbsp;易用能力：可视化监控–&nbsp;提供可视化的运维管理工具GDOM，支持对GBase 8a MPP Cluster集群的安装、升级、扩容、节点替换、服务启停等运维管理，支持监控单个或多个GBase 8a MPP Cluster集群的运行状态，资源利用情况、SQL执行情况等；提供及时告警、趋势展示功能。 &nbsp;

GBASE金融应用指南2 | GBase 8a MPP Cluster 逻辑架构

GBASE南大通用二十年专注数据库研发，主导产品GBase数据库经历20年持续发展迭代，已形成了覆盖不同业务场景的成熟数据库产品体系。其中，2011年发布的GBase 8a MPP Cluster大规模分布式数据库集群，经过十余年持续升级完善，始终与国际同类主流水平保持同步，已在金融、电信、政务、能源、交通等各行业规模部署，完成众多行业高端客户核心系统的建设和改造升级案例，切实满足了各数据密集型行业海量高价值数据分析、挖掘、备份、即席查询等业务需求。为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第1期，将从分布式分析型数据库的特点分类，及金融行业应用场景两方面展开论述。分布式分析型数据库概述1、分布式分析型数据库的特点及分类随着数字经济的发展，数据要素已经成为了和土地、人力、资本、技术并列的生产要素，数据资产价值会随着数据量而提高，各行业对于数据的存储和应用产生了很多新的需求，传统的数据仓库模型和技术面临着诸多挑战。挑战1：分析系统中数据规模庞大且变化的速度快、增量大，且数据有持久性存储需求。要求数据仓库有存储大量历史数据能力和在线扩展能力。 &nbsp;挑战2：分析系统中业务变化愈发频繁，有智能化发展趋势，能满足即席查询和数据价值发现的需求。要求数据仓库存储的数据全面、粒度要细，支持数据挖掘和机器学习。挑战3：针对分析业务的不确定，数仓的Schema on write提前建模，前期耗费时间长，后期通用性弱。要求数据仓库能存储所有原始数据，延迟建模。挑战4：数据仓库中存储所有原始数据并延迟建模，会产生数据来源广，结构化、非结构化数据混杂，数据使用人员多等情况。要求数据仓库能有效治理各类数据，避免数据沼泽、数据泥团，数据库要有完善的安全机制保护数据完整和数据安全。挑战5：对分析结果的实时性要求越来越高，要求数据仓库能有实时数据、流式数据接入的方案。挑战6：分析系统的运行承载企业各项分析业务，运行的稳定性要有保障，即业务的连续性和数据的完整性要有保障。要求有备份方案、双活的解决方案来保障数据的完整和业务的连续。分布式分析型数据库从20世纪末至今，经过近30年的发展应用，现阶段开始向云原生数据仓库演进。可以较好的解决以上挑战和要求，满足数据仓库未来向湖仓一体架构演进的趋势。使用分布式分析型数据库搭建数据仓库具有标准易用的SQL语言、契合于各行各业常见分析需求的数据模型，满足多样化数据挖掘分析需求，易于将需要的数据按照方便分析的模型集成到数据仓库中，获取数据和分析结果方便快捷等优点。南大通用大规模分布式并行数据库集群系统GBase 8a MPP Cluster从发布至今有十余年的行业规模化应用，紧贴市场需求，具有虚拟集群、多租户、在线快速扩展、在线节点替换、高可用性、高安全性等金融行业关注的基础功能特性和双活集群、流式数据集成、机器学习算法集成、异构计算引擎统一调度全数据统一管理等高级功能。2、分布式分析型数据库金融行业应用场景金融行业业务复杂多样，大数据分析应用场景涵盖批处理、交互式查询、数据挖掘、湖仓一体和实时数仓。GBase 8a MPP Cluster在各应用场景中的适用情况如下图所示。<img src="https://cdn.gbase.cn/Uploads/6HV9tzAY0-Hj_10_irRyv/1.webp.jpg">GBase 8a MPP Cluster应用场景占比批处理场景： 处理的数据量大、业务逻辑较复杂、资源占用大，数据处理分析的时效性一般为T+1，任务并发数在100以下。GBase 8a MPP Cluster的列存储引擎和优化器、丰富的OLAP函数、复杂SQL执行优化、高性能数据导入等非常适用于此类场景。交互式查询场景： 查询响应时间要求较高，能够实现人机之间交互。GBase 8a MPP Cluster的智能索引、压缩、支持高并发查询等可提供高性能的即席查询支撑，提供的数据加密、脱敏、权限管理等的数据安全机制为交互式查询场景保驾护航。数据挖掘场景： 使用统计学、机器学习和数据库系统等交叉技术，来查看和发现大型数据集中隐藏的一些模式。GBase 8a MPP Cluster提供的机器学习算法可以对用户数据进行深层次的分析和挖掘，将用户数据转化为用户价值。湖仓一体场景： 湖仓一体是一种新型的开放式架构，打通了数据仓库和数据湖，融合数据仓库的高性能及管理能力与数据湖的灵活性。底层支持多种数据类型并存，实现数据间的相互共享，上层通过统一封装的接口进行访问，可同时支持实时查询和分析，为企业进行数据治理带来了更多的便利性。GBase 8a MPP Cluster提供与Hadoop平台的多种融合方案：通过异构引擎融合实现统一访问接口、统一数据视图、统一计算调度；通过双向的HDFS数据导出加载实现数据在数据湖和数据仓库中高速流转。实时数仓场景： 实时数仓要求数据实时入库，不同于离线数仓响应时间需求的T+1,实时数仓响应时间实时性要求高（分钟级乃至秒级），常应用于实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等。GBase 8a MPP Cluster采用微批数据加载、kafka消息流实时入库等方式，能满足小时级、分钟级、秒级的数据入库和数据分析。 &nbsp;

GBASE金融应用指南1 | 分布式分析型数据库概述

删库跑路在IT圈内，“删库跑路”已成为程序员间经久不衰的玩笑话，大有追赶土木老哥“提桶跑路”自嘲的趋势，也许这就是新旧两代“民工”的双向奔赴吧。（bushi）玩笑归玩笑，但却反映了数据库中存储、管理的数据对企业生产经营的重要性。实际上，“恶意删库跑路”罕有发生，因粗心大意导致的误删数据却屡见不鲜，或是手误、或是将本该在测试环境中的删除操作执行到了生产环境……导致数据误删，虽是无心，但损失的确是实打实的企业数据资产，业务停滞带来的资金损失更是无法估量。那么“我有一个朋友”就要灵魂发问了：问：“我要怎么做，才能找回误删除的数据呢？”当当当当~ （GBASE隆重登场）数据误删别忙跑路，GBASE数据库闪回功能帮你渡过难关！针对数据“误删”（这可真是太刑了）高危情境，南大通用基于共享存储的数据库集群GBase 8s提供闪回功能来确保数据的完整性和可靠性，（马大哈们）再也不用担心“跑路”了。<a href="https://www.gbase.cn/news/3520">（点击链接查看“删库不跑路”的独家秘籍）</a>相较于常用的数据恢复方案，GBASE南大通用做了一些独特的处理：<ul><li>在闪回功能的实现方式上，我们没有选择基于回收站亦或是回滚段存储的UNDO记录，而是基于闪回程序读取历史log日志来实现；</li><li>对“数据表”进行闪回时，没有选择使用SQL语句而是通过shell命令来完成；</li><li>在配置方式上，只需要简单配置闪回程序的对应文件即可进行表的闪回，配置更简单，无需调整数据库参数。</li></ul>“上帝的归上帝,恺撒的归恺撒”，我们秉持数据恢复与数据库正常运行相分离，规避数据恢复过程中可能会对数据库运行产生的影响。数据的保护与恢复一直是数据库管理领域的重点和难点，无论是厂商还是开发者们从未停止对数据完整性的不懈探寻，针对更多类似的数据恢复场景，我们将持续打造更多利器保障用户的数据安全与完整性。&nbsp;

“删库跑路”？ 莫慌张！ GBASE数据库闪回功能来帮忙

在数据库管理领域，数据的保护与恢复一直是至关重要的任务。针对数据库开发人员“误删”数据这一高危情境，南大通用基于共享存储的数据库集群GBase 8s内置“闪回”工具，提供闪回功能来确保数据的完整性和可靠性，（马大哈们）再也不用担心“跑路”了。GBASE南大通用闪回工具 onflsbk.sh 能够完成表的闪回功能，给用户提供单张表回退到历史某一位置的快照。具体包括 5 个步骤，如下表：<img src="https://cdn.gbase.cn/Uploads/5NUZNHDtZMch_ZNSOzhCK/1.png">闪回工具安装和配置这一步骤涉及工具的安装与配置文件的参数设置。闪回工具的安装包为绿色版的 tar包，只需放到指定的服务器解压即可，但需要注意解压后目录以及文件属主需要拥有执行 onlog 的权限 。闪回工具可以通过配置目录：[安装目录名]/conf/ 下的参数文件config.properties来配置参数，包括：jdbc 的url，数据库用户名/密码，字符集，是否支持 32K，数据库目录等等。flashback.conf 配置文件参数说明<img src="https://cdn.gbase.cn/Uploads/nV_oJ8eG2hy0x5HYiKdiv/2.png">闪回工具使用闪回工具通过执行 shell 脚本：[安装目录名]/onflsbk.sh 来实现闪回功能。<img src="https://cdn.gbase.cn/Uploads/AJUuH1daJ0QEDkWh0YOek/3.png">闪回语法图闪回程序分为“按照时间闪回”和“按照lsn号闪回”。a.&nbsp;按照时间闪回:./onflsbk.sh -D database_name -d 'date_time' -r table_name&nbsp;<ul><li>-D database_name 是闪回命令用来选择数据库的参数，输入database_name 是被选择的数据库名；</li><li>-d 'date_time' 是闪回命令指定还原时间点的参数，输入的 'date_time' 是用来指定还原的目标时间点，格式: 'yyyy-mm-dd hh24:mi:ss'，如果选择该参数，说明这条闪回命令是将表的数据，命令行中不能出现 -l 'lsn_number'；</li><li>-r table_name 是闪回命令用来选择表的参数，该参数必须配合 -l 'lsn_number' 或 -d 'date_time' 中的一个参数使用，输入的 table_name 是被选择将要还原的表名，命令行中不能出现 -d 'date_time'；</li></ul>b.&nbsp;按照 lsn 号闪回:./onflsbk.sh -D database_name -l 'lsn_number' -r table_name<ul><li>-D database_name 是闪回命令用来选择数据库的参数，输入的 database_name 是 被选择的数据库名；</li><li>-l 'lsn_number' 是闪回命令指定逻辑日志的 LSN 位置的参数，输入的'lsn_number' 是用来指定逻辑日志 LSN 位置，如果选择该参数说明这条闪回命令是通过指定逻 辑日志的 LSN 位置进行表的数据还原；</li><li>-r table_name 是闪回命令用来选择表的参数，该参数必须配合-l'lsn_number' 或 -d 'date_time' 中的一个参数使用，输入的 table_name 是被选择将要还原的表名，命令行中不能出现 -d 'date_time'；</li></ul>c. 闪回到新表:通过 LSN 闪回到新表语法： onflsbk.sh -D database_name -l 'lsn_number' -r table_name -t new_table_name通过时间闪回到新表语法: onflsbk.sh -D database_name -d 'date_time' -r table_name -t new_table_name示例1：下面我们以“按照时间闪回”的方式进行演示。首先，创建测试表 test_fls2； create table test_fls2 (id int,name varchar(20),time1 datetime year to second,primary key (id));插入测试数据，两条记录间隔 5 秒： insert into test_fls2 values (1,'a',sysdate); insert into test_fls2 values (2,'b',sysdate);查询结果如下：<img src="https://cdn.gbase.cn/Uploads/FCIJAPOUEWDvc34p9psif/4.png">执行按照时间闪回命令：./onflsbk.sh -D test -d "2023-08-15 13:38:50" -r test_fls2会出现一个交互窗口，提示内容大概意思是：如果当前时间回溯到指定还原时间点区间内存在DDL操作很可能会让闪回报错或者闪回成功后表数据是不准确的。<img src="https://cdn.gbase.cn/Uploads/mRAX42CIABTmjvajXqQeC/5.png">直接回车或者输入“1”会继续执行，输入“2”则会直接退出；我们这里输入“1”继续执行：<img src="https://cdn.gbase.cn/Uploads/t4GshzqBHM-m_L2rFXGyU/6.png">最后显示处理完成，回到工具查看表数据，已经回退到插入数据之前：<img src="https://cdn.gbase.cn/Uploads/tKzY3QswRfJ7J-BnVR7aB/7.png">再次执行按照时间闪回命令，时间选择在插入第一条记录和第二条记录中间： ./onflsbk.sh -D test -d "2023-08-15 13:38:52" -r test_fls2<img src="https://cdn.gbase.cn/Uploads/5OI-iWEhA3I0wUvfDhY4J/8.png">最后显示处理完成，回到工具查看表数据，已经回退到插入数据之前：<img src="https://cdn.gbase.cn/Uploads/hdXm_4qS3zfN1jgSKJtUK/9.png">再次执行按照时间闪回命令，时间选择在插入第一条记录和第二条记录中间： ./onflsbk.sh -D test -d "2023-08-15 13:38:58" -r test_fls2<img src="https://cdn.gbase.cn/Uploads/BwTIaI96oX_x-1vfmGObl/10.png">最后显示处理完成，回到工具查看表数据，已经回退到插入数据之前：<img src="https://cdn.gbase.cn/Uploads/PbtWP3q4ySnsZTvICkB-w/11.png">示例2：按照 LSN 号闪回的示例如下:通过 onlog -l 查看对应时间的 LSN 号：<img src="https://cdn.gbase.cn/Uploads/wTn4_shM1YypjtaO6azWg/12.png">执行 LSN 号闪回命令：./onflsbk.sh -D test -l '77:0xc5ec018' -r test_fls2<img src="https://cdn.gbase.cn/Uploads/_-V7TyvWioLBLzrAQiLks/13.png"><img src="https://cdn.gbase.cn/Uploads/brSOUbnRMgrmvwYEAx7wt/14.png">最后显示处理完成，回到工具查看表数据，已经回退到插入数据之前：<img src="https://cdn.gbase.cn/Uploads/WBQFWD0Fe497JSa8yK9lJ/15.png">使用下一个 LSN 号进行闪回 ./onflsbk.sh -D test -l '77:0xc5ec050' -r test_fls2<img src="https://cdn.gbase.cn/Uploads/CkWtBFnf9Igzwib0-xGmX/16.png">最后显示处理完成，回到工具查看表数据，已经回退到插入第一条数据之后：<img src="https://cdn.gbase.cn/Uploads/-7sLH8lmcwSqcMoDHprh9/17.png"> &nbsp;

GBASE南大通用数据库“闪回”功能使用介绍

随着数据库技术的快速发展，数据库内核与架构也在持续创新，分布式架构与多模多态融合化逐渐成为趋势，成为构建满足用户多样化场景的核心技术。也正是由于数据使用场景的多元化与海量数据高并发读写需求，一些基于传统架构的数据库产品已无法满足特定场景的使用需求。具体如下：1、百TB或PB级别大数据量和高并发业务场景，传统数据库架构一般无法满足业务需求。在数字化转型的浪潮中，企业对于数据库的要求越来越高，不仅需要强大的性能和稳定性，还要求数据库能够灵活适应各种复杂的业务场景。2、核心业务系统一般使用Oracle RAC部署方式，而RAC架构对服务器、存储、网卡等硬件设备的稳定性、性能等要求极高，切换到国产服务器上时往往面临性能和稳定性的下降问题。3、在日益增长的业务需求下，Oracle RAC等传统数据库集群面临节点数量受限的问题。Oracle RAC作为业界知名的数据库解决方案，长期以来一直是众多企业的首选。然而，随着业务的发展和市场的变化，企业开始寻求更高效、成本更低的替代方案。4、某些互联网业务等需要弹性扩缩的能力，通常传统数据库产品无法满足。在以上几种情况下，最好的选择就是切换成分布式数据库产品。GBASE南大通用多模多态分布式数据库GBase&nbsp;8c以其卓越的性能、高可用性以及良好的成本效益比，成为了企业迁移的新选择。GBase 8c数据库自身具备企业级特性，可将工作负载分配到多台服务器上进行并行处理，可以大大提高系统的吞吐量和响应速度。以及根据需求自动地添加新的节点，实现水平扩展与弹性伸缩，提供更高的性能、容错性和可靠性，采用全新内核引擎驱动，提供更好的兼容性并具有多模多态、弹性伸缩、强一致性分布式事务等产品特性，同时提供完善的数据迁移方案与工具，实现不同数据库至GBase 8c的平滑迁移。然而迁移并不只是简单的数据搬迁，在生产环境下迁移过程中最大的难点在于数据一致性、迁移效率和系统稳定性的和谐统一。Oracle RAC与GBase 8c在架构和功能上存在差异，如何在保证数据不丢失、不错乱的前提下完成迁移，是企业面临的重大挑战。此外，迁移过程中的业务中断时间和系统稳定性也是企业极为关心的问题。GBase 8c通过其自研配套的迁移工具和支持服务，为Oracle RAC的迁移提供了强有力的支持。从以下几点来保证迁移服务高效可靠：1）GBase 8c提供了与Oracle高度兼容的数据类型和SQL语法，大大减少了迁移时的学习和适配成本；2）GBase 8c迁移工具支持迁移评估、对象迁移、数据迁移、业务SQL迁移、实时同步及数据校验等功能，提供完整的一站式迁移服务；3）GBase 8c数据库的高可用架构设计和迁移工具的高可用逃生能力，双重保证了迁移过程及迁移后系统的稳定运行，即使在迁移过程中也能最大程度地减少业务中断的影响。接下来将为大家展现下Oracle到GBase 8c的迁移解决方案。<img src="https://cdn.gbase.cn/Uploads/rIlhJ3WHVa-5PazxVLqSE/1.jpg">针对Oralce RAC的迁移，GBase 8c提供详细的数据迁移指南与平滑迁移整体解决方案，主要流程为：1）迁移准备，主要包括源库环境分析和迁移评估；2）迁移方案设计与测试，主要包括环境准备、功能测试、迁移演练等；3）迁移实施，主要包括确定方案、迁移过程操作与监控、性能调优、割接等；4）迁移后运维管理等技术服务。GBase 8c研发期间做了大量对象兼容、语法兼容的工作，封装兼容对象，无形地为迁移工作奠定了坚实基础。真正的迁移过程则更多依赖于GBase 8c命令行工具（如gs_dump等）和图形化迁移工具-GBase DMT。GBase DMT采用B/S架构设计，通过docker 部署应用，部署简单，减轻了客户端的负担，也方便了应用程序的维护升级。<img src="https://cdn.gbase.cn/Uploads/NPutp056hT3K4w0VlQwqx/2.png">1、对象迁移流程<img src="https://cdn.gbase.cn/Uploads/rNhFLMOjV4zB82yKPVIiR/3.png">在GBase DMT上首先添加源库和目标库连接信息，用户根据实际需求创建迁移任务，期间可修改转换规则，预检查通过后保存任务信息，默认自动开启迁移。在迁移完成后，DBA等运维角色可以查看迁移任务详情，或详细查阅迁移任务的评估报告。涉及的主要功能操作：<ul><li>数据库配置——配置源数据库和目标数据库连接信息，用于数据迁移和数据同步时使用。</li><li>创建迁移——选择数据源，并完成选择迁移对象、选择迁移表、参数配置、修改转换规则这些步骤的配置，即完成迁移前的任务配置。</li><li>迁移评估——完成迁移后，下载评估报告，详细查看迁移明细和对象报错的具体信息。然后根据此报告在前面配置项处进行手动修改，修改后再次迁移即可。</li><li>（可选）数据同步——业务运行期间，进行异构数据库之间的数据同步。采用cdc技术，通过Streaming和日志实时解析，实现低延迟地感知数据中间变化。</li></ul>&nbsp;2、业务SQL迁移流程<img src="https://cdn.gbase.cn/Uploads/N0vtzaq5PGcFe74UHjFYN/4.png">通过业务采集工具，实现对业务数据和应用系统的采样与分析，对数据量、宽表、实时sql、性能指标的统计与采集，提供最优迁移方案。方案优势<ul><li>高并发：GBase8c采用shared nothing架构、计算存储分离，多用户并行访问可以更快地获取资源，提高IO的处理能力。</li><li>高可用性：RAC为多实例共享存储，分布式数据库将数据分散存储在多个节点上，当某个节点发生故障时，系统可以自动切换到其他可用节点，保证数据的持续可用性。</li><li>HTAP能力：同时具备处理事务和分析能力，满足用户多样化应用场景。</li><li>弹性伸缩能力：支持在线扩容缩容，更好地满足数据量和用户量的变化需求。</li><li>性能的线性提升：分布式架构支持更多节点扩展，增加节点可实现性能的线性提升。</li><li>国产化能力：完全兼容国产服务器和操作系统，在国产环境上达到甚至超过原来国外系统的性能和稳定性能力。</li></ul>GBASE南大通用作为一家领先的数据库和数据管理解决方案提供商，始终秉承“以客户为本”的核心理念。不仅注重技术创新，更注重用户体验。Oracle RAC迁移至GBase 8c既是企业降低成本、提升效率的必然选择，也是适应市场变化、拥抱技术创新的重要一步。GBase 8c数据迁移解决方案的易用性、高安全性、高性能和一致完整性，能够保证企业轻松应对迁移过程中的各种挑战，实现业务的无缝对接和升级。

Oracle RAC迁移至南大通用GBase 8c 解决方案

知识图谱（Knowledge Graph）是人工智能的重要分支技术。建立一个知识图谱首先要获得数据，它们可以是一些表格、文本、数据库、音视频、图片等。根据数据的类型可以分为结构化数据、非结构化数据和半结构化数据，需要对它们进行信息抽取才能进一步建立知识图谱。拿到了不同来源的数据时，需要对数据进行知识融合，也就是把代表相同概念的实体合并，将多个来源的数据集合并成一个数据集，在此基础上就可以建立相应的知识图谱了。在国际上，人工智能领域已经普遍认识到知识图谱技术的应用是实现人工智能从“感知”到“认知”突破的关键因素，而大规模知识图谱的数据管理系统是新一代人工智能重要基础设施亟需的关键共性技术。知识图谱以图数据库作为存储引擎，南大通用在已有自主可控分布式关系数据库管理系统基础上，研究国产自主可控关系数据库系统与图数据库的集成，从集群管理、元数据管理、存储管理、统一访问接口等模块无缝融合，实现了在统一封装的访问接口服务层进行完全透明的知识图谱查询、管理和应用。一、主要技术研究<ul><li>知识图谱统一查询语言接口实现架构</li></ul><img src="https://cdn.gbase.cn/Uploads/5YQxRHrMmuD4kfJksIlAG/1.png">功能支持方言解析器、标准SQL的转换与执行，专属函数管理、数据类型转换等内容，GBase 系统针对图查询语言和SQL查询语言提供统一JDBC、Python API的数据访问接口，在SQL引擎层增加方言语法的识别与支持。<ul><li>分布式查询计划</li></ul><img src="https://cdn.gbase.cn/Uploads/BEUf3XB7jgpmaS-mhLa_o/2.png">GBase 系统对统一查询语言进行语法解析、优化处理并生成查询计划，查询计划由统一的图计算算子组成，可以在图计算引擎上执行并返回结果。<ul><li>GBase 系统支持图数据库</li></ul><img src="https://cdn.gbase.cn/Uploads/MGr4sZ45hofgA-3r0qRs2/3.png">GBase 系统位于应用软件与数据库基础软件之间，起承上启下作用。通过接收用户的命令，分析引擎信息，调用对应的引擎，在不同的数据库系统上执行操作。二、应用场景通过国产自主可控关系数据库系统与图数据库的融合，可以在众多应用场景中实现对业务系统的有效支撑。<ul><li>精准医疗的应用支撑</li></ul>在智慧医疗场景中应用，将知识图谱集成到南大通用关系型数据库系统中，可以显著提升包括病情检查和住院花费在内的智慧医疗任务精准度，具有重要的临床意义和社会意义。<ul><li>欺诈检测应用支撑</li></ul>通过建模，研究大量的交易信息，借助数据分析，可检测出诈骗团伙或其他复杂诈骗行为。<ul><li>语义解析应用支撑</li></ul>通过将自然语言转化为知识图谱，存储在数据库中。用自然语言组织的问题可以通过智能问答系统中的语义解析器进行解析并重新组织，然后从知识图谱中检索出问题的可能答案，提供给提问人。总结将知识图谱管理系统无缝集成到南大通用关系数据库系统中，以需求导向为研究方向，使信息横向整合，方便可视，让用户在统一封装的访问接口服务层进行完全透明的知识图谱查询、管理和应用，促进了融合的数据库技术发展；融合的系统对海量信息进行智能化处理，利用模型在存储和查询分析的优势为多应用场景提供服务，如智能推荐、智能客服、金融风控、医疗、电商等。GBASE系列产品及技术研究将持续深耕，为各行业大规模知识数据的应用提供技术支撑。

GBASE分享 | 国产关系型数据库与知识图谱的融合

当前，以Oracle、DB2等为代表的国际主流数据库软件产品，已经长期、广泛应用于国内各行业的核心业务系统中。当用户业务系统面临替换改造时，需要解决异构数据库在整个切换过程中数据迁移、应用兼容、新系统稳定性等各种问题，以降低用户进行数据库管理系统架构迁移的风险。日前，在工信部国家工业信息安全发展研究中心组织的数据库产品应用迁移能力评测中，南大通用基于共享存储的数据库集群GBase 8s成功通过评测，在同/异构数据库兼容、迁移评估、迁移实施、软硬件兼容、迁移效率、性能优化、数据校验等维度表现优异，全方位验证了处理实际应用的迁移能力。<img src="https://cdn.gbase.cn//HtmlContents/ur2pW7C4mV-8CHPy2QqVh/1.jpg">下面就异构OLTP数据库迁移到GBase 8s的迁移方案做简要介绍：项目迁移流程迁移流程是整个迁移工作的指导框架，可有效组织迁移工作的有序开展，主要流程步骤如下图：<img src="https://cdn.gbase.cn//HtmlContents/DSk81SY1-G8v0Ayin1uZM/2.png">调研及方案设计&nbsp;本阶段主要进行迁移前的调研评估，以及用来指导形成迁移落地执行的方案。内容包括如下几点：1、迁移前期调研内容及要点调研的重点是了解客户需求和当前的痛点，迁移后要有针对性地提供改善方案。迁移前期调研是迁移项目的重要工作环节，此部分为项目实施不可省略环节。1.1迁移前期调研的目标<ul><li>了解项目迁移实施范围</li><li>评估迁移工作量、实施工期、人员数量及能力要求</li><li>评估迁移技术难点、项目主要风险</li></ul>1.2迁移前期调研的内容<ul><li>迁移系统现状：原数据库系统架构拓扑图、相关配置、上下游情况、原库版本</li><li>系统运行状况：应用场景、重要性级别评估、应用部署架构、业务类型、业务场景中增删改查各占的大致比例、并发情况、业务系统总用户数</li><li>系统指标要求：业务高峰时期的响应时延要求，批处理并发数，处理数据量、处理耗时、业务数据生命周期等</li><li>接口情况：应用开发语言，开发环境ORM框架版本信息、访问数据库接口协议、连接池配置、长连接/短连接等、第三方工具支持要求</li></ul>2、迁移方案设计迁移方案需根据迁移前期调研结果，并针对客户对该系统使用需求和痛点制定项目替换改造实施方案，主要包括:<ul><li>迁移系统的硬件配置和部署方案；</li><li>针对客户需求和痛点提供的针对性解决方案；</li><li>迁移实施的步骤和工作内容；</li><li>实施计划和里程碑。</li></ul>3、硬件资源评估GBase 8s集群的硬件配置评估方式采用倒推的方法，即首先需要获取原库的详细配置信息，之后再根据CPU整体核数、内存容量、磁盘容量并结合业务数据量趋势评估GBase 8s集群单台服务器的配置以及配置服务器的台数。原则上GBase 8s集群所有服务器的CPU整体核数、内存容量和磁盘容量及盘片数量应不得小于原库配置。对于倒推法不适应的场景，也可以参考GBase 8s集群推荐的硬件配置。<img src="https://cdn.gbase.cn//HtmlContents/ZREYyT8FpSUiaVrprtM5f/3.png">数据及业务迁移GBase 8s提供平滑迁移整体解决方案，可使替换过程中GBase 8s数据库应用上线过程风险总体可控、系统运行平滑。整个过程分为三个阶段：在第一阶段，需要在完成全量备份恢复的基础上，通过数据同步工具实现当前主源数据库向备用GBase 8s数据库的实时数据同步；第一阶段平稳运行一段时间后，数据库侧进行主、备份角色互换后进入第二阶段：由GBase 8s集群数据库支撑业务系统运行，业务数据实时向源数据库同步；最后阶段，原数据库系统割接下线，完成平滑迁移过程。<img src="https://cdn.gbase.cn//HtmlContents/tCn9Vc1csBP8QzcxQo8rq/4.png">接下来需要通过对全量、增量数据的迁移、迁移前后数据的比对方式等技术难点进行提前规划。全量数据迁移方案评估及要点迁移全量数据，其迁移的时间窗口很大程度决定于全量迁移是一次性还是分批迁移。主要有以下几个方面的因素影响，需要重点考虑：<ul><li>源数据库迁移数据量【需要实测以评估源库内数据的压缩比】；</li><li>业务允许的停机时间窗口【此过程中源库需要处于只读状态，且负载要轻，往往是硬约束条件】；</li><li>源数据库数据导出性能【需要实测已确定能力】；</li><li>迁移工具服务器台数、IO性能、与8s集群网络带宽【迁移环境制约因素】；</li><li>8s集群节点的加载性能【IO性能和网络带宽综合考虑】。</li></ul>对于迁移时间窗口的预估，需按照如下的公式进行估算：迁移整体时间 = 源库导出时间 + GBase 8s加载时间 + 数据校验时间数据迁移需要还需要注意：<ul><li>源库数据导出的性能需要实测；</li><li>评估万兆带宽的使用率时要给出一定的冗余度，一般计算需要乘以1/2系数；</li><li>整体时间窗口按照导出和加载串行方式评估，保证一定冗余度应对突发情况，而实际执行时可以按照多并发方式设计迁移的实际执行方式。</li></ul>数据校验&nbsp; &nbsp;数据校对采用的方法是通过比对原系统和迁移系统对相同数据的加工结果，通过结果是否一致来推断过程是否迁移的正确。数据校对常用方法：总量校对：count值、sum值、avg值对比；分量校对：对表内各维度进行group by后对这个维度的一个指标值进行count、sum、avg核对；错误对比：在发现不一致的表时，将对比的表拉到一个环境上进行详细分析，如进行minus运算，找出差数据再进一步分析；校对报告：校对报告是校对工作输出物，对数据一致性问题进行记录和分析，对之前解决的问题进行追溯，形成数据校对工作常见问题的知识体系。&nbsp;&nbsp;

GBASE迁移之异构OLTP数据库迁移方案

数据库高可用（High Availability）是指数据库系统在面对硬件或软件故障时仍能保持持续可用的能力。其对用户的正常运营和数据管理具有重要意义，一旦缺失则可能造成无法估量的重大损失和严重后果。如：数据库故障或停机，将使得业务系统无法进行正常的数据存取，从而导致用户的业务中断，影响用户的正常运营；缺乏有效的备份和冗余机制，可能导致重要数据的永久丢失，对用户而言，数据丢失不仅意味着损失重要信息，而且可能带来法律合规的问题；故障恢复时间太长，当数据库出现故障或停机时，恢复过程可能会非常漫长和复杂，导致期间无法进行正常业务操作。因此一套成熟的企业级数据库系统必须要有完善的数据库高可用机制。<img src="https://cdn.gbase.cn//HtmlContents/rJ54Tq6Cf7gnRWy5UiGrb/1.jpg">数据库高可用保障着业务连续性，能够在节点故障发生时快速切换到备用节点或系统，减少业务中断的时间和影响；保障数据安全性和完整性，通过数据冗余、故障检测和故障恢复等机制，防止数据丢失和损坏。高可用数据库需具备快速的故障恢复能力，能够迅速切换到备用系统或节点，降低故障对业务的影响，提高系统的容错性和可靠性。数据库如何达到高可用？简而言之靠两部分支撑：冗余和管理。数据冗余也可以称为数据复制（因为主要实现机制是数据复制，当然也有通过写多份来实现的，本文只关注数据复制），是高可用实现的基础，数据存储多份，当有一个或者一部分节点发生故障，其他节点依然有备份数据提供支持。高可用管理是对高可用实现的统筹编排与管理，负责状态判断，故障切换等工作。数据库高可用功能如下图所示。<img src="https://cdn.gbase.cn//HtmlContents/Z-JtxCM6bxxZpujpITsU8/2.png">1. 数据复制/冗余：数据复制通过在多个节点上复制和同步数据，可以提供冗余备份和容错能力。2. 高可用架构：依照用户需求设计高可用架构，确保系统在面对故障或异常情况时能够保持可靠的运行和服务，一般分为集中式和分布式。3. 负载均衡：将用户请求合理分发到不同的数据库节点，确保每个节点的负载是均衡的状态。4. 自动故障检测：监测数据库节点的状态，一旦发现节点故障，自动触发故障切换，将请求切换到备用节点或系统上，最大程度地减少故障对业务的影响，实现快速的故障恢复。5. 故障切换：当节点发生故障时，可以自动将请求切换到其他健康的节点上，实现故障切换和持续的服务。GBASE南大通用专注于数据库软件产品和服务，公司GBase系列数据库产品均拥有成熟的数据库高可用技术和方案，满足金融、电信、政务、能源、交通、国防军工等行业应用，为用户业务提供不间断的数据库服务。其中：<ul><li>GBase 8a是南大通用自主研发的面向商业分析和商业智能市场成熟的分析型MPP数据库。GBase 8a的高可用机制包括数据冗余、多级别高可用架构、高可用管理等。</li></ul>数据冗余：<ul><li>可提供1个或3个副本数据冗余。</li><li>副本间数据自动同步。</li><li>多分片机制降低节点故障的木桶效应。</li><li>集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。</li></ul> 多级别高可用架构：<ul><li>节点级别高可用，调度节点（GCluster）通过 Failover 机制保障执行 SQL 的数据一致性。管理节点（GCware）通过虚同步机制保障集群元数据的一致性。计算节点（GNode）通过自动同步来保障主副本数据的一致性。</li><li>双活集群架构，支持两个同构集群间的准实时数据同步。M-S 架构同步，主集群数据可写，备份集群数据可查询。基于数据块的增量同步，针对于传统的基于逻辑日志的同步，大大提高海量数据同步的效率。</li><li>虚拟集群镜像架构，支持两个镜像集群之间实时数据同步。虚拟集群的镜像集群支持数据实时一致性，互为镜像的两个集群同时写入。镜像表数据是数据的实时备份，对镜像集群任意一端发起数据变更都会实时同步到镜像表；主表有了镜像关系后，对于查询模块相当于主表多出了备份分片。查询模块可以利用多出的备份提升查询高可用能力；支持以库、表为单位创建和删除镜像关系。以库为单位时，库下所有表都将自动创建镜像；库下所有函数、存储过程和视图都会同步在目标镜像库下创建。</li></ul>高可用管理：<ul><li>复制引擎自动管理数据同步。</li><li>节点发生故障时，系统自动切换至其它节点进行工作，保证业务连续性，最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。</li><li>节点故障对应用透明，不会中断正在执行业务，一旦故障节点恢复正常，GBase 8a会从其他节点上的数据恢复该节点数据，在完成更新后立即提供服务。</li><li>GBase 8s 是南大通用自主研发的、成熟稳定的企业级国产交易型数据库，拥有自主知识产权，产品安全级别达到EAL4级。GBase 8s的高可用可实现故障秒级切换，高可用等级99.999%，高可用机制包括数据冗余、灵活的高可用集群架构、高可用管理等。</li></ul>&nbsp;数据冗余：<ul><li>GBase 8s采用逻辑日志复制技术实现节点高可用。</li><li>逻辑日志的更新模式支持同步、半同步、异步模式。</li></ul><img src="https://cdn.gbase.cn//HtmlContents/U47thSi-ft3iDLYGlKtCN/3.png">灵活高可用集群架构：<ul><li>同城主备容灾高可用（HAC），RPO=0，RTO&lt;30秒。</li><li>异地灾备高可用（RHAC），RPO&lt;100秒，RTO&lt;5分。</li><li>支持两地三中心高可用部署，远程容灾距离可达1000公里以上。</li><li>支持数据库集群异地双活能力，保证双活集群间的数据一致性。</li><li>集群主节点执行读写业务的同时，备节点可承担查询、报表等读业务。</li></ul>高可用管理：<ul><li>所有的高可用能力均内置于数据库服务自身，不需要部署第三方组件，提升高可用方案的稳定性，降低维护成本。</li><li>提供连接管理器（CM）部件，实现故障接管和负载均衡能力，且对应用透明。</li><li>GBase 8c是基于openGauss构建的一款多模多态的分布式数据库，支持主备式、分布式的高可用部署形态。GBase 8c主备式形态提供主备同步、异步以及级联备机多种部署方式；分布式形态集群全局无单点，高可用可达到99.99%，分布式集群支持两地三中心，支持异地多活，业务连续在线，数据永不丢失。</li></ul>数据冗余：<ul><li>主备式高可用支持数据多副本冗余，主备副本之间通过日志进行数据交换，保证集群任意节点故障均不影响数据库对外提供服务，数据无丢失，满足ACID特性。</li><li>分布式高可用采用分布式全组件冗余。</li></ul>多态高可用架构：<ul><li>主备式高可用，支持数据多副本冗余，包括：协调器、数据节点、集群状态管理器、集群管理器，并且均做到了备份冗余。当主节点故障，备节点可以自动升级为主，并继续对外提供服务。该过程对应用透明，整个主备切换过程应用无感知，不影响对外服务。</li></ul><img src="https://cdn.gbase.cn//HtmlContents/CrH2Y7PVU5LO-zLo7zEjl/4.png"><ul><li>分布式高可用，在软件层针对分布式集群中的每个组件，均做了组件级冗余。</li></ul><img src="https://cdn.gbase.cn//HtmlContents/vytM4_FYlvc2hT5nJNsnr/5.png">CN：协调器，采用完全对等的部署方式；多个CN做服务冗余，支持负载均衡；DN：数据节点，采用主备的高可用架构，主备之间可以配置同步或异步方式；GTM：全局事务管理器，采用主备的高可用架构，主备之间可以配置同步或异步方式；HA Center：集群状态管理器，采用Raft的复制协议；GHA Server：集群管理器，采用主备的高可用架构，主备之间可以配置同步或异步方式。<ul><li>高可用多种方案可以满足各种应用场景下对数据库的不同需求，包括同机房容灾、同城容灾、异地灾备、异地多活等。</li></ul>高可用管理：<ul><li>全局事务管理器管理数据库分布式强一致事务，对于追求性能的新兴数据库业务，也可实现强一致事务，而不是最终一致性；</li><li>集群状态管理器存储各个节点的高可用状态，负责在故障情况下判断集群各个节点状态，自身基于RAFT复制协议；</li><li>集群管理器，用以管理整个集群各个节点的高可用状态（主备、是否宕机等）。</li></ul>数据库的高可用性对于用户系统稳健运营至关重要。南大通用GBASE数据库通过实现数据复制、自动故障检测和切换、负载均衡和故障切换等高可用冗余和管理机制，保障各行业用户业务7*24小时稳定、连续正常运行。数据库高可用提升永无止境，南大通用将继续努力不断改进，打磨适于用户应用的安全稳定的数据库产品、解决方案和服务，满足客户的需求和期望，也为国家信息技术产业的发展贡献力量。 &nbsp;

GBASE数据库高可用技术保障用户系统稳健运营

GBase 8a MPP Cluster数据库采用分布式大规模并行处理架构，常用于OLAP分析型场景。此类场景中通常基础数据量比较大，不同SQL运行时长差异较大。不同于MYSQL等交易型数据库，其负载多为高并发的短事务类型，慢查询SQL任务可通过设置固定阈值来统一对执行时间过长的SQL进行记录，分析型场景由于业务特点存在SQL正常执行时间从几秒钟到几小时都有可能，因此无法通过简单方式来判断SQL任务是否异常。本文总结了GBase 8a MPP Cluster数据库中SQL运行缓慢的分析排查和优化方法，供其他用户参考。<h3 style="text-align:justify;">排查和优化方法</h3>SQL任务历史性能对比分析：通过开启GBase 8a的audit_log审计日志，可以连续收集周期性任务的执行时间，通过对比相同SQL任务历史执行时长可以判定相同任务SQL长周期内的执行耗时趋势，通过对比发现执行性能异常情况，并进行针对性的分析。如，相同SQL任务在一定周期内执行时间逐渐变长，则需要结合表内数据量变化趋势、SQL任务类型需要访问全量数据还是只访问增量数据等进行分析。执行计划分析：对于性能异常的SQL，通常先通过执行计划分析执行步骤是否存在可优化的空间。GBase 8a提供的explain分布式执行计划，可以提供SQL任务的执行顺序和步骤，常见的执行计划中的问题和优化方法包括：<ul><li>避免不合理的动态重分布或者拉复制表降低数据在节点间重分布的代价；</li><li>检查join列的字段类型，避免因字段类型不一致导致的数据动态重分布；</li><li>调整不合理的join顺序，避免出现笛卡尔积导致中间结果集过大；</li><li>评估哈希索引的必要性，去除不必要的哈希索引；</li></ul>表数据分布分析：通常表在各节点间的数据分布会影响查询性能，当表数据分布在节点间出现严重的倾斜分布时，不同的节点会因处理的数据量差异较大出现木桶效应。对于数据分布存在严重倾斜的表，可以通过调整表的分布键方式将数据均匀打散，常见的分布键选择策略包括：<ul><li>优先考虑大表间的JOIN，尽量让大表JOIN条件的列为Hash分布列（相关子查询的相关JOIN也可以参考此原则），以使得大表间的JOIN可以直接下发到各节点分布式执行；</li><li>其次考虑GROUP BY，尽量让GROUP BY带有Hash分布列，让分组聚合一步完成；</li><li>当有多个join或group列可选择时，优先选择唯一值多（count(distinct)值大）的列做Hash分布列，让数据均匀分布；</li><li>通常是等值查询的列，并且使用的频率很高的应考虑建立为hash分布列；</li></ul>通过详细trace日志分析SQL任务瓶颈：对于一些慢SQL需要详细分析各节点的执行日志，通过日志发现某个节点是否相较其他节点明显执行缓慢，如果存在较慢的节点则进一步排查是什么原因导致的。常见的情况有数据倾斜、并发过高、参数设置不合理、数据分布特征等原因造成。需要根据不同的情况，通过调整表数据分布、设置合理的线程池和并行度（主要排查gbase_parallel_execution、gbase_parallel_degree以及gbase_parallel_max_thread_in_pool等参数）、调整操作系统参数、使用hint影响具体执行计划等方式进行调优。各节点软硬件参数配置检查：排查CPU超线程、虚拟内存、透明页和IO调度参数等配置项，查看是否按照厂商建议进行配置。<h3 style="text-align:justify;">总结</h3>分布式分析型数据库由于其多节点并行的部署环境及OLAP负载类型复杂的特点，其SQL任务调优相比传统单机交易型数据库更加复杂，需要更加系统的方法论指导，本文的目的在于对日常运维工作中针对GBase 8a数据库的SQL性能分析和优化思路进行总结，期望对从事数据库运维工作的读者提供一些可以借鉴的思路和方法，达到交流思路互相学习的目的。 &nbsp;

GBASE金融应用指南3 | GBase 8a MPP Cluster 部署架构

GBASE金融应用指南2 | GBase 8a MPP Cluster 逻辑架构

GBASE金融应用指南1 | 分布式分析型数据库概述

“删库跑路”？莫慌张！ GBASE数据库闪回功能来帮忙

GBASE南大通用数据库“闪回”功能使用介绍

Oracle RAC迁移至南大通用GBase 8c 解决方案

GBASE分享 | 国产关系型数据库与知识图谱的融合

GBASE迁移之异构OLTP数据库迁移方案

GBASE数据库高可用技术保障用户系统稳健运营

用户实操 | GBase 8a MPP Cluster慢SQL分析排查和优化方法

GBASE金融应用指南3 | GBase 8a MPP Cluster 部署架构

GBASE金融应用指南2 | GBase 8a MPP Cluster 逻辑架构

GBASE金融应用指南1 | 分布式分析型数据库概述

“删库跑路”？ 莫慌张！ GBASE数据库闪回功能来帮忙

GBASE南大通用数据库“闪回”功能使用介绍

Oracle RAC迁移至南大通用GBase 8c 解决方案

GBASE分享 | 国产关系型数据库与知识图谱的融合

GBASE迁移之异构OLTP数据库迁移方案

GBASE数据库高可用技术保障用户系统稳健运营

用户实操 | GBase 8a MPP Cluster慢SQL分析排查和优化方法

“删库跑路”？莫慌张！ GBASE数据库闪回功能来帮忙