轨道交通承载着城市居民的日常出行，深圳地铁作为中国城市轨道交通的标杆，其单日峰值总客运量高达1030.85万人次，地铁公共交通客运分担率达74.22 %，567.1公里的城轨线网客运强度达1.49万人次/公里日，稳居全国第一。日均数百万乘客出行背后，GBase数据库参与建设的AFC系统悄然支撑着这条“钢铁长龙”的高效运转。<img src="https://g1.cdn.gbase.cn/Uploads/Mh4l_DIif2j3g-MT0e4G8/1.png">AFC系统即自动售检票系统（Automatic Fare Collection），是由计算机、通信、网络等技术组成的自动化系统，可以为乘客提供售票，检票，收费，计费等一系列的票务业务。在客流密集的站点，稳定可靠的AFC系统可以赋能站点高效运行，为乘客提供便捷、快速的出行体验。早在2022年，GBase数据库就支撑了深圳地铁四期工程的开通运营。深圳地铁四期工程采用全栈国产化方案，其自动售检票系统(AFC)以及轨道交通清分系统（ACC）、轨道交通多线路中央计算机系统（CLC）、互联网票务管理系统均采用GBase数据库作为承载数据库，支撑千万级城市地铁乘客的售检票、进出站，以及业务管理、客流分析和收益分析等。不止于深圳，截至目前，在重庆、西安、成都、郑州、杭州、沈阳、济南等全国27座城市的70+条线路，GBase数据库都已部署应用，为广大市民提供高效、便捷、稳定的地铁出行服务。在轨道交通领域的成功应用，是国产数据库自主创新的一大突破。面向未来，GBASE南大通用将继续专注自主创新，推动产品升级迭代，夯实智慧交通“数据底座”，守护好每一位居民的日常出行。 &nbsp;

保驾护航 GBASE数据库助力深圳地铁构建轨道交通“钢铁长龙”

在数字化浪潮席卷而来的今天，出于系统架构、成本以及业务的考量，越来越多企业用户需要完成异构数据库间的适配迁移。南大通用GBase 8c数据库作为第三代智能化数据库产品，具有多模多态、弹性伸缩、强一致性分布式事务等产品特性，能够承载企业海量的数据；将繁重工作负载分配到多台服务器上并行处理，提高系统的吞吐量和响应速度，提供更高的性能、容错性和可靠性。同时GBase 8c具备高兼容性，提供全套完备的数据迁移方案与工具，实现不同数据库至GBase 8c的平滑迁移。本文以MySQL数据库迁移至GBase 8c数据库为例，介绍迁移工作中的关键步骤。迁移前的关键准备工作环境评估与兼容性分析（1）根据源库特征，来选择GBase 8c目标库兼容模式。本文以MySQL为源库，则目标库应选择B兼容模式，在创建database时指定。（2）校验对象兼容性，重点检查源库的存储过程、触发器、自定义函数等高级特性，例如MySQL的“ENUM”类型和“TINYINT”已实现原生兼容 。（3）字符集适配。需要注意的是GBase 8c默认字符集为“SQL_ASCII”，在创建库时需要显式设置“UTF8MB4”以匹配MySQL标准。综上因素，创建目标库的database。例如创建mytest库，指定兼容模式为B、设置字符集，执行命令：CREATE DATABASE mytest WITH DBCOMPATIBILITY='B' ENCODING='UTF8MB4';对目标库再次确认兼容模式，执行命令：SELECT datname,datcompatibility FROM pg_database;2. 迁移工具选型策略&nbsp;GBase 8c自带的命令行工具链，适用于迁移自动化流水线场景，包含gs_dump逻辑导出工具与gsql数据加载工具等。配套可视化工具DMT，采用B/S架构，支持Docker一键部署，提供数据迁移、数据同步、数据校验三大核心功能模块。&nbsp;迁移实施核心步骤详解1. 数据库对象迁移&nbsp;（1）表结构转换 &nbsp;通过mysqldump --no-data导出DDL脚本后，GBase 8c可直接执行90%以上的MySQL建表语句。特殊处理场景例如：&nbsp;<ul><li>时间精度处理：根据是否有时区，将DATETIME(6)转换为TIMESTAMP(6) WITH TIME ZONE或TIMESTAMP(6) WITHOUT TIME ZONE</li><li>索引优化：分布式环境下建议采用哈希分布键替代B树索引</li></ul>（2）存储过程迁移该对象可能需要进行语法转换，例如：MySQL原语句为：DELIMITER //CREATE PROCEDURE get_users()BEGIN&nbsp;SELECT * FROM users;END //DELIMITER ;GBase 8c适配后语句转换：CREATE OR REPLACE PROCEDURE get_users()LANGUAGE plpgsqlAS $$BEGIN RETURN QUERY SELECT * FROM users;END;$$;2. 数据迁移实施使用MySQL自带的工具进行数据导出，例如执行：mysqldump -u root -p --single-transaction --databases db1 &gt; full_backup.sql数据导出到full_backup.sql文件中。GBase 8c进行数据加载，例如执行： gsql -d target_db -p 15400 -f full_backup.sql &nbsp;将full_backup.sql文件中数据进行导入。建议：TB级数据采用分片并行加载策略以提升吞吐量&nbsp;典型问题与解决方案&nbsp;1. 字符集冲突&nbsp;&nbsp;例如在迁移时出现错误：ERROR: could not determine collation for view column。根据错误提示可了解到是由于未指定字符集。解决方法：显式指定COLLATE utf8mb4_general_ci，执行：CREATE VIEW v1 AS SELECT col1 COLLATE "utf8mb4_general_ci" FROM tbl1;2. 分布式事务优化 &nbsp;在迁移时，如果出现跨节点UPDATE语句性能下降的问题。解决方法：<ul><li>启用SET dolphin.b_compatibility_mode = on，开启dolphin兼容性插件，以提升语法兼容性</li><li>采用HASH分布优化数据局部性</li></ul>3. 函数兼容性处理假如在迁移时出现STR_TO_DATE返回值类型不匹配的问题。解决方法：添加显式类型转换，例如执行：SELECT (STR_TO_DATE('2023-01-01', '%Y-%m-%d')::timestamp) + INTERVAL '1 day';&nbsp;迁移后验证在数据迁移完成后需要对其进行校验，确保数据的完整性和准确性，可以通过以下方式进行验证：<ul><li>比对表行数：比较MySQL和GBase8c中每个表行数是否一致。</li><li>随机抽样：随机抽取一部分数据，收到验证数据的一致性。</li><li>检查外键约束和索引：确保所有外键约束和索引都已正确迁移。</li></ul>&nbsp;

数据库迁移怎么破？MySQL到南大通用GBase 8c迁移方案来啦

本文探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。事务的概念及ACID特性事务（Transaction）将用户在数据库中的某些操作集合看作一个整体，在其有序执行的过程中不被其他操作影响，这样的操作集合就是事务。事务（Transaction）是对数据库进行操作的集合。该集合是一个不可分割的具有逻辑功能的工作单元，集合中的操作在事务的一次执行中必须全部被执行或者全部。事务的特性（ACID 特性）Atomicity: 原子性构成该事务的操作集合中的全部操作在事务的运行过程中全部执行或者全部不执行。Consistency: 一致性事务运行的结果应该使数据库保持数据一致性。Isolation:隔离性构成某个事务的全部操作与其他事务或操作是隔离的，同时执行的事务之间不能够互相影响，一个事务单独运行的结果应该与该事务和其他多个事务同时运行的结果一致。Durability: 持久性事务的持久性是指事务运行完毕并成功提交后，其对数据库全部操作的结果应该永久地保留在数据库中。并发事务的调度1、并发问题和并发操作实际应用中，通常会有来自不同用户的多个事务并发执行，事务之间会有交叉，这个问题就是事务的并发问题。并发事务之间相互影响，会破坏相关事务的正常运行，无法保证事务的 ACID 特性，产生数据错误。并发操作（Simultaneous Concurrency）是并发事务中包含的对数据库的操作，由多个事务并发进行而产生，其最大问题是容易导致数据库的不一致性举例说明两个售票点同时售出同一天同一车次的车票，第一个售票点执行的数据库事务 T1 为：（1）读出当前车票的剩余数量 A，假设 A=50；（2）售出一张票，剩余数量变为 A=A-1，即 A=49。第二个售票点执行的数据库事务 T2 为：（1）读出当前车票的剩余数量 A，假设 A=50；（2）售出一张票，剩余数量变为 A=A-1，即 A=49。事务 T1 和 T2 按照如下顺序并发执行：（1）读出当前车票的剩余数量 A，假设 A=50；（2）读出当前车票的剩余数量 A，假设 A=50；（3）售出一张票，剩余数量变为 A=A-1，即 A=49；（4）售出一张票，剩余数量变为 A=A-1，即 A=49。事务执行的结果是只卖了一张车票，而实际上售出了两张，这样就可能导致同一个座位售出两张车票，数据库出现了数据的不一致性错误。并发操作导致数据库出现数据不一致性的问题，如下表所示。事务 T1 将数据对象，即火车票的总数 A 进行了修改，变为 49，而事务 T2 在 T1 修改 A 之前读取的 A 的值仍然是 50，T2 将此值修改为 49 后写回数据库并覆盖了 T1 事务对 A 的修改，此时，A 的值为49，就会出现这种情况：卖出两张车票后车票总数应为 48，而数据库中车票的总数为 49，显然出现了数据的不一致性错误。<img src="https://g1.cdn.gbase.cn/Uploads/Xu3j8g7MUG_RjnVow5eV_/b6d4cbaa82124f73bb0dc3b09647b000.jpeg">2、调度调度（Schedule）是指事务的执行次序。如果多个事务依次执行，则称为事务的串行调度（Serial Schedule）。如果多个事务同时执行，则称为事务的并发调度（Concurrent Schedule）3、冲突冲突（conflict）：事务调度中的两个操作（读操作或写操作），如果交换顺序执行，它们所属的事务运行结果会改变，那么这两个操作就被称为冲突。不同事务对于不同数据对象进行操作（无论是读操作还是写操作）不会产生冲突；不同事务对同一数据对象进行读操作也不会产生冲突。4、封锁并发控制的主要技术是封锁（Locking）。封锁的对象是数据库中的数据对象，如关系型数据库中的表、记录、属性、索引等。对数据对象加锁的时机是在事务对其进行操作之前，向系统发出加锁请求。加锁后事务 T就取得了对该数据对象的控制，在事务 T 释放它的锁之前，其他事务不能对此数据对象进行任何操作。封锁是一种排队机制，将并行任务按锁的先后顺序排队，把并行任务变成串行任务。

南大通用GBase 8s数据库的封锁与并发事务调度（一）

本文继续探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。封锁产生的问题封锁技术在一定程度上解决了数据库的并发事务处理过程中，并发操作给数据库带来的数据一致性问题，但同时产生了新的问题如活锁和死锁。活锁问题在处理并发事务的过程中，如果事务T1在数据对象R上加锁，事务T2又请求为数据对象R加锁，则 T2 必须等待T1释放加在R上的锁。如果事务 T3 也请求为 R加锁，当T1释放了R上的锁之后系统首先响应T3的请求，则允许T3对R加锁，此时 T2 仍需等待T3 释放加在R上的锁。然后事务T4又请求封锁R，当T3释放了R上的封锁之后系统 又响应了T4的请求……T2有可能永远等待而无法为R加锁，这就是活锁（Live lock）。活锁由于事务永远得不到封锁而导致。避免活锁可以采用先来先服务的策略。当多个事务请求封锁同一个数据对象时，可按照请求封锁的先后次序对事务排队，数据对象上的锁一旦释放就批准申请队列的第一个事务获得封锁。　<img src="https://g1.cdn.gbase.cn/Uploads/SA8VcUu8xvbO60ngQsBfZ/1.jpeg">死锁问题如果事务 T1 对数据对象 R1 进行封锁，T2 对数据对象 R2 进行封锁，然后 T1 又请求对 R2 进行封锁，由于 T2 已封锁了 R2，则 T1 必须等待 T2 释放 R2 上的锁。接着 T2 又申请对 R1 进行封锁，由于 T1 已封锁 R1，因此，T2 也只能等待 T1 释放 R1 上的锁。这样就出现了事务 T1 等待另一个事务 T2 释放相关数据对象上的锁，而 T2 又在等待 T1 释放相关对象上的锁，T1 和 T2 两个事务由于相互等待对方释放数据对象上的锁而永远不能继续执行，这样就出现了死锁。死锁（Dead Lock）：系统中有两个或两个以上的事务都处于等待状态，并且每个事务都在等待其中另一个事务释放封锁，这样才能继续执行下去，结果造成任何一个事务都无法继续执行，这种现象称数据库系统进入了“死锁”（Dead Lock）状态。用例简单复现死锁产生GBase模式下（会话1）：<img src="https://g1.cdn.gbase.cn/Uploads/7gJElwoO64hHGQhOxrdbH/2.jpeg">那么两个会话分别在同一个库中，对a表和b表加上共享锁S，当想进行更新时，会话1在等待会话2释放a的S锁，而会话2在等待会话1释放b的S锁，从而导致死锁产生。那么在oracle模式下，该用例却不能产生死锁。因为在GBase模式下，开启事务后，可以保证两个会话在执行更新后才提交保证两个会话同时进行。而在oracle模式下，只能开启多语句模式，DML语句会自动开启事务，通过commit/rollback结束事务，DDL会提交事务。从而导致两个会话可能无法同时进行，因此并行变成串行，导致死锁无法产生。写在最后南大通用GBase 8s数据库的事务处理能力和并发控制机制，为企业提供了一个可靠、高效和安全的数据处理平台。无论是金融交易还是在线事务处理，GBase 8s都能确保数据的完整性和一致性，满足企业对数据库系统的要求。

南大通用GBase 8s数据库的封锁与并发事务调度（二）

数据库技术不断演进，“GBASE技术”作为GBASE南大通用技术分享的窗口，在过去的一年中为大家带来了满满的技术干货。这些自GBASE技术社区筛选出的文章涵盖数据库的功能解析、迁移适配、性能调优、运维管理以及故障处理等多个维度，旨在帮助用户和伙伴深度体验和操作GBase数据库。下面让我们一同回顾“GBASE技术”为我们刻印了哪些数据库独家“G”忆。&nbsp;数据库迁移<a href="https://mp.weixin.qq.com/s/1F51E-ImpEd6G6kjeX_cXg">Ø 异构数据库向南大通用GBase 8a迁移方案综述</a>概要介绍异构数据库迁移方案相关工作内容和技术要点。<a href="https://mp.weixin.qq.com/s/z__iuJ2XyXp5S_O053sB_Q">Ø GBase 8a数据库迁移的几种方法探讨</a>介绍GBase 8a数据全量迁移常规方法。<a href="https://mp.weixin.qq.com/s/J17XxbkfdH7Eapy5048rkA">Ø 数据库迁移新篇章之DB2与GBase 8s的深度对比</a>探讨两种数据库架构、变量与参数、存储限制等方面的异同，并提供具体的迁移方案。<a href="https://mp.weixin.qq.com/s/YdAeznltUxzNz2mjbwui7A">Ø 从Oracle迁移至南大通用GBase 8c解决方案</a>介绍数据库在架构和功能上存在差异的前提下，如何保证数据迁移不丢数、不宕机。&nbsp;数据库功能解析<a href="https://mp.weixin.qq.com/s/HiSaYIukgCIB83HxsUtHXQ">Ø GBASE南大通用GCDW云原生数据仓库多分片并发查询功能介绍</a>介绍GCDW云原生数据仓库多分片并发查询的功能概述及实现原理。<a href="https://mp.weixin.qq.com/s/G-AIDjOixudDi_grOVF94A">Ø GBase 8a集群透明网关与DBLINK使用介绍</a>协同运用DBLINK与透明网关服务，实现对远程数据库的查询以及远程数据与本地数据的关联运算。<a href="https://mp.weixin.qq.com/s/IjDekOjyJwhsX7vMUN2Wng">Ø GBase 8a数据库基于审计日志的冷温热数据分析</a>通过审计日志计算、分析数据表的使用频率，以便进行数据清理或数据迁移。<a href="https://mp.weixin.qq.com/s/wSlpB5JfKWNI-THInS0KAA">Ø 南大通用GBase 8a MPP Cluster操作系统升级解决方案</a>介绍操作系统升级前后应关注的注意事项以及操作步骤。<a href="https://mp.weixin.qq.com/s/KZNXYvgHvJnNOY1KeRG_Kg">Ø 技术分享 | GBASE南大通用同步工具 RTSync 使用简述</a>介绍同步工具 RTSync的安装部署、参数配置以及使用。<a href="https://mp.weixin.qq.com/s/EBa4Vi-PC60lKyMrIphmXA">Ø 南大通用GBase 8s SSC集群网络交互信息概述（上）</a>介绍GBase 8s SSC集群的网络交互机制<a href="https://mp.weixin.qq.com/s/-j4dKFuVzUN98O1CC3TRNw">Ø 南大通用GBase 8s SSC集群网络交互信息概述（下）</a>分析SSC集群在不同业务场景下的网络吞吐量的计算表现。<a href="https://mp.weixin.qq.com/s/XRoinF1f-fraOR6vwUaThg">Ø GBASE南大通用数据库“闪回”功能使用介绍</a>介绍南大通用基于共享存储的数据库集群GBase 8s内置“闪回”工具 onflsbk.sh。<a href="https://mp.weixin.qq.com/s/cSivZFIthh3A9qxEdYP06g">Ø 南大通用GBase 8s数据压缩策略</a>介绍GBase 8s的数据压缩功能，包括压缩的作用、方式、命令以及限制。<a href="https://mp.weixin.qq.com/s/hQ6IDUTRX_AqFW8Xwwfg4g">Ø 南大通用GBase 8s GCI使用指南</a>介绍GCI（GBase Client Interface）的使用，包括环境设置、程序编译、以及如何运行GCI程序<a href="https://mp.weixin.qq.com/s/7Wk59RtGxKUOomPKzkadsw">Ø 南大通用GBase 8s数据库的封锁与并发事务调度</a>探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。<a href="https://mp.weixin.qq.com/s/CbkvNLKQITT9JofDWWNjcw">Ø 南大通用GBase 8s RHAC集群基本原理和搭建步骤</a>介绍GBase 8s RHAC（Remote High Availability Cluster）的基本原理和搭建步骤。<a href="https://mp.weixin.qq.com/s/pmXx_S8BLNqw0Qbr2GIG2Q">Ø 南大通用GBase 8s高可用架构之快速搭建SSC共享存储集群</a>介绍在单机环境中快速部署SSC共享存储集群。<a href="https://mp.weixin.qq.com/s/Esc-AZk58kW5OcwjjpyDPQ">Ø 南大通用GBase 8c事务状态保持技术解析与实践</a>介绍GBase 8c的事务状态保持特性的基本概念及技术实现。<a href="https://mp.weixin.qq.com/s/QMT4l6UEpepOUarzjeF4XA">Ø 南大通用GBase 8c使用JDBC获取游标类型数据</a>介绍使用jdbc访问GBase 8c数据库时，如何获取其cursor游标数据。<a href="https://mp.weixin.qq.com/s/LeeM_TaVD2In9iPcdh8Jgg">Ø 使用Trino实现GBase 8c与异构数据库的数据迁移与联合查询</a>分享基于Trino这一开源的分布式 SQL 查询引擎实现GBase 8c与异构数据库的数据迁移与联合查询。&nbsp;数据库性能调优<a href="https://mp.weixin.qq.com/s/ebvpHZNXhmvV96lBvJpmYQ">Ø GBase 8a数据加载功能怎么用？如何实现性能最优？</a>对GBase 8a集群的加载功能模块从原理和架构两方面进行说明，并提供加载性能参数调优方案和kafka数据源的加载导出方案。<a href="https://mp.weixin.qq.com/s/Bt9uesiffpo1BypURKuiKw">Ø GBase8s数据库性能测试调优攻略</a>介绍如何对GBase8s数据库进行性能测试和调优。<a href="https://mp.weixin.qq.com/s/qlrqZYsBlLix8dFyP7bbNA">Ø GBase 8s性能提升之GCI批量插入功能</a>通过实际案例，探讨开启批量插入功能对数据库性能的影响。&nbsp;数据库运维管理<a href="https://mp.weixin.qq.com/s/sL1QNpZy2pE3CJcenuZUpw">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（上篇）</a>从硬件故障、操作系统故障及资源使用情况异常三种类别，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/ayXjzbfN4M5fSz3mT5y6pg">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（下篇）</a>数据库服务异常、数据丢失及其他异常等故障类型，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/vkGgKQ9MF9zPPUpUwtmRWw">Ø 迁移GBase8s数据库文件，释放空间</a>介绍目录空间耗尽时，通过迁移chunk文件释放存储。‌以上就是“GBASE技术”的年度“G”忆，藉由干货分享、真实案例多款GBase数据库产品得以让数据库极客们了解、掌握。未来，我们将持续输出更多高质量的技术文章，让国产数据库生态更加繁荣、茁壮。同时，也欢迎大家访问GBASE技术社区（<a href="https://www.gbase.cn/community">https://www.gbase.cn/community</a>），共同分享、沉淀更多GBase数据库的技术“G”忆。 &nbsp;

“G”忆新篇：GBASE数据库技术干货年度回顾

近日，国家管网集团自主研发的国产化油气管网数据采集与监控系统（SCADA系统）在国家管网各地区公司广泛上线运行。这是南大通用GBase数据库在国家管网SCADA系统国产化替代领域落地的又一重点案例。<img src="https://g1.cdn.gbase.cn/Uploads/BXB0AJ-IoilIHssKqQ-wN/1.jpg">油气管道SCADA系统是一种大型、专业化的工业控制软件与硬件系统的集成，实现油气管道生产过程控制与调度自动化。如果将我国超10万公里的油气管道干线比作“能源动脉”，那么SCADA系统就是控制“动脉”的“神经中枢”。油气管网需要7×24小时不间断运行，对SCADA系统可靠性要求极高。只有“极致靠谱”，才能满足实际应用需求。南大通用GBase数据库经受住了严苛业务场景考验，其高可靠、高稳定、高并发特性为国家管网大型调控中心级别的数据采集及监控提供坚实保障，实现了油气调控领域数据库层面的自主可控，对确保能源资源重要产业链供应链安全，实现油气能源“全国一张网”具有重要意义。在此之前，GBase数据库已陆续在国家管网生产和管理等15个业务信息系统部署上线，支撑国家管网的自主可控水平提升与数字化建设。目前，GBase数据库已在国家管网集团部署上线1000+套，其中SCADA系统部署近千套。未来，GBASE南大通用将持续聚焦自主创新，赋能智能化、数字化的现代油气管网建设，护航能源安全。 &nbsp;

极致可靠 GBase数据库助力国家管网集团打造能源动脉“中枢”

本文将分三章（第三章），对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。kafka数据集成GBase 8a集群支持使用kafka集群作为数据源进行数据加载和导出，kafka数据源加载任务的相关信息可以在gclusterdb系统库中表topicname_dbname_tbname里查看。加载kafka集群中的文本数据SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/xB2xPs2mnt8-B0vhlTE7s/1.jpeg">导出文本数据到kafka集群SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/0zUYW6BiYw-hxyKauOZBC/2.jpeg">Kafka broker高可用GBase 8a支持配置Kafka的broker高可用，支持一套带kerberos认证功能的kafka集群作为加载数据源：1、在gcluster配置文件中添加参数：gcluster_kafka_brokers 192.168.146.20:9092,192.168.146.21:9092’2、重启gcluster服务使其起效：gcluster_services all startKafka流式加载GBase 8a通过脚本实现Kafka流式加载，如：<img src="https://g1.cdn.gbase.cn/Uploads/WiQe6OxDgfhIc4E0wP9uS/3.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（三）

在金融行业数字化转型的进程中，数据已然成为最为关键的资产。《金融机构金融数据中心容灾建设指引》的发布，为金融数据中心的容灾能力设立了极高标准，其核心目的在于确保金融业务的稳定连贯以及数据的绝对安全。GBase 8a作为一款极具优势的分析型数据库，凭借一系列独特的技术特性，在金融数据中心容灾建设领域发挥着无可替代的关键作用。<img src="https://g1.cdn.gbase.cn/Uploads/Asg3lEwXwxCD9QFWE2R4r/1.png">金融行业数据管理的严峻挑战金融行业的数据不仅规模庞大，而且种类繁杂，涵盖实时交易记录、客户详细信息、风险评估数据以及监管报告数据等。随着金融科技的飞速发展，传统数据库在处理性能和数据安全防护方面的缺陷日益凸显，难以满足金融业务日益增长的复杂需求。在交易高峰期，传统数据库容易出现响应缓慢的状况，这直接影响了交易效率，导致客户体验变差；面对日益严格的监管要求，若数据安全防护存在漏洞，金融机构可能会面临严重的法律风险和声誉损失。&nbsp;GBase 8a的强大技术特点<img src="https://g1.cdn.gbase.cn/Uploads/Zfl-drG2JrQdfvlmG7Ysm/2.jpg">卓越的高并发处理能力：GBase 8a具备强大的并发处理性能，能够轻松应对数百万级别的并发交易请求。无论是日常海量的交易数据处理，还是在突发业务高峰时期，都能确保金融交易的实时性和稳定性，为金融业务的高效运转提供了坚实的技术支撑。先进的分布式架构：采用分布式架构，GBase 8a支持金融机构在多地进行部署并实现数据同步。通过这种分布式部署方式，数据被分散存储在不同地理位置的节点上。即便某个节点出现故障，其他节点也能迅速接替工作，保障业务不受影响，这与金融数据中心容灾建设追求业务连续性的理念高度契合。智能精准的分析能力：GBase 8a拥有强大的数据分析能力，能够对海量历史数据进行深度挖掘和分析。这一特性为金融机构的风险评估和精准营销提供了有力支持。在金融领域，精准的风险评估至关重要，GBase 8a凭借其智能分析能力，能够及时发现潜在风险，帮助金融机构制定合理有效的风险应对策略。创新的双活能力：GBase 8a创新地采用双活数据中心架构，两个数据中心同时处于活跃状态，均可对外提供服务。这种架构打破了传统主备模式下备用中心资源闲置的弊端，实现了资源的最大化利用。当其中一个数据中心遭遇突发故障时，业务能够在极短时间内自动切换至另一个数据中心，确保金融业务的零中断，极大地提升了业务连续性和服务可用性。高效的在线备份：支持在线热备份功能，GBase 8a在数据库运行过程中即可进行数据备份操作，无需暂停业务。这不仅确保了数据备份的及时性和完整性，而且不会对正常业务运行产生任何干扰。金融机构可以根据自身业务特点和需求，灵活设置备份策略，随时获取最新的数据副本，为数据安全增添了一道坚固的防线。可靠的离线备份：除了在线备份，GBase 8a 还提供了可靠的离线备份方案。将数据备份至磁带库等离线存储介质，能够有效防止因网络攻击、病毒感染等意外情况导致的数据丢失风险。离线备份的数据可以作为数据恢复的最后保障，在极端情况下确保金融数据的安全和可恢复性。领先的云原生特性：GBase 8a具备领先的云原生特性，能够与金融云环境实现无缝融合。通过容器化部署，GBase 8a可以实现资源的灵活调配和快速扩展，满足金融业务的弹性需求。借助云平台的高可用性和安全性，GBase 8a进一步提升了数据中心的容灾能力，同时降低了运维成本，为金融机构的数字化转型提供了强大助力。&nbsp;GBase 8a 在金融数据中心容灾建设中的应用<img src="https://g1.cdn.gbase.cn/Uploads/h7s6cHT8N9CUgKytah6Om/3.jpg">存储安全保障：依据《金融机构金融数据中心容灾建设指引》对存储安全的要求，GBase 8a 提供多副本技术，对数据进行存储级别的冗余处理。与传统磁盘镜像技术不同，GBase 8a不仅保证数据数值的准确性，还能确保数据逻辑的正确性，从而保障数据在存储层面的安全性和完整性，为金融数据的长期保存和使用提供可靠的基础。服务安全保障：在服务层面，GBase 8a采用联邦架构形式。其核心组件分布式管理集群 gcware、分布式调度集群 gcluster 和分布式存储集群 gnode 协同工作，提供池化管理。多个 coordinatorserver 放置于管理池中公用，任何一个节点服务出现问题都不会影响系统的正常运行，无需进行复杂的切换操作，有效保障了金融业务的不间断运行。实际案例验证：以某城商行为例，该行采用 GBase 8a分析型数据库构建数据中心。自2022 年建成运行以来，取得了显著的成效。与原数据库相比，数据加载性能提升了3倍以上，即席查询和统计分析性能提升了6倍以上。GBase 8a有效支撑了各个历史数据的分析应用，为领导决策提供了客观、准确的依据。同时，其高扩展性也能够很好地应对新的业务需求。在容灾方面，GBase 8a的架构和技术特点确保了数据中心在面对各种潜在风险时的稳定性和可靠性。&nbsp;选择 GBase 8a的优势GBase 8a不仅能够完全满足《金融机构金融数据中心容灾建设指引》的要求，还能为金融机构带来诸多额外价值。它能够显著提升数据处理效率，降低运营成本；通过智能分析挖掘数据的潜在价值，助力金融机构实现精准营销和风险管控。此外，GBase 8a的高可用性、可扩展性以及丰富的容灾特性，使其能够很好地适应金融行业不断变化的业务需求，为金融机构的长期稳定发展提供持续的技术支持。在金融数据中心容灾建设这一关键任务中，GBase 8a凭借其出色的技术实力、可靠的容灾方案和丰富的实践经验，无疑是金融机构的理想选择。选择 GBase 8a，就是选择金融数据的安全保障，选择金融业务的持续稳定发展。&nbsp;

GBase 8a：金融数据中心容灾建设的可靠伙伴

本文将分三章，对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。功能特性GBase 8a集群加载支持本地文件、ftp/sftp、http/https、hdfs、kafka、S3等常用数据源；支持使用平文本、avro/orc(未release)文件格式进行加载；支持使用压缩格式gzip、snnapy、lzo进行加载；支持普通文本、定长、宽松加载模式；支持kerberos认证，多namenode高可用；支持多表、单表并行加载，多数据源并行加载；支持多点传输，多节点并行数据解析，单节点多线程并行。架构及原理GBase 8a加载功能架构图如下：<img src="https://g1.cdn.gbase.cn/Uploads/KROr8xPImhJ8N4j-zVbo0/1.jpeg">1：数据加载SQL下发，gcluster接收SQL任务。2：gcluster解析URL生成具体的源数据文件列表；gcluster按gnode加载节点数量均分源数据文件。如15G数据文件均分3个加载节点时，gcluster进行数据切分，每个加载节点5G加载任务；完成数据切分后，gcluster给gnode加载节点下发加载SQL任务。3：gnode接收加载SQL任务后，去文件服务器上读取指定数据；gnode对读取到的加载数据进行解析；将合法数据按表和hash列分配归入对应表分片的DC中；gnode将DC压缩文件转发到对应的主分片节点上；主分片gnode节点将收到的DC文件组装好后实时转发到副本节点上。加载性能调优及相关参数加载性能调优GBase 8a采用多点传输技术，集群中的每个节点均参与数据的解析和加载，且加载性能可以随着集群节点数的增加线性扩展，通过加载性能调优，仅使用8台服务器即达到33TB/小时的加载速度。加载性能相关参数gcluster_loader_max_data_processors说明：单个加载任务并行加载机的个数默认值：16调优值：在加载并发较高、集群节点较多场景下推荐配置为4~8gbase_loader_parallel_degree说明：data节点执行单个加载任务的并行度默认值：0，使用CPU核数一半，当设置值大于线程池数量时，则使用线程池数量。调优值：配置为4~6。可以通过set方式设置，也可以使用PARALLEL在加载语句中指定。_gbase_dc_sync_size说明：数据文件磁盘落地大小默认值：1TB调优值：当存在data节点磁盘IO繁忙、加载性能缓慢、CPU资源利用低时，可调小该参数，推荐10Mgbase_parallel_max_thread_in_pool说明：线程池中的线程总数，用于配置线程池大小。默认值：CPU核数的2倍调优值：在每个服务器上部署1个gnode节点的情况下推荐该配置为CPU核数的4~8倍。gcluster_enable_serial_load、gcluster_serial_exec_query说明：限制任务并发数，调优值：开启gcluster_enable_serial_load参数后，每个gcluster节点可以下发gcluster_serial_exec_query个SQL任务（select、insert select、load等），主要控制并发时，下发到gnode的SQL数量，超过后排队。gbase_loader_max_line_length说明：超长行大小默认值：4M调优值：当数据文件中存在超过4M大小的行时，加载任务会报错中断，增加该值可以跳过该行继续加载，超过4M的数据保存在errdata中gbase_loader_read_timeout说明：数据文件读取超时，读取ftp/http/sftp文件超时的时间设置默认值：300秒，0无限制。调优值：当集群负载较高、数据源IO或网络较差时，调大该参数可避免数据源读取超时报错数据源服务器参数如ftp/sftp并发访问数、端口数等，具体问题具体分析数据源并发数评估集群最大并发加载任务数为N，单加载任务最大加载机数（max_data_processors）为M时，数据源推荐的并发数不低于M*N。分块加载分块加载原理：gcluster文件切分是用URL表示的多个逻辑块，交由多个data节点并行加载，文件服务器并不实际进行文件切分。加载按行处理，data节点对分配给自己的逻辑块数据逐行进行加载，排除开头属于前一个节点的数据（第一个换行符前），以及读取结尾完整的数据行（直到下一节点的第一个换行符为止）。加载数据量：一次加载支持读取和处理的数据量大小与以下参数相关：gbase_loader_buffer_count说明：加载使用内存块数。data节点内部维护一个内存链表。默认值：16gbase_loader_line_length说明：各内存块大小。data节点从数据源一次性读取4M大小的数据内容放到内存链表中进行后续处理。默认值：4M分块加载使用场景：对于不同使用场景，可灵活调整分块加载配置：对于加载节点少，加载任务的数据总量大的使用场景，gcluster将一次加载任务中的数据总量按加载节点数均分给各个加载节点并行执行，能大幅提升加载性能。对于加载节点多，加载任务的数据总量小，避免对数据切块粒度太小降低加载性能，可通过以下参数调优：gcluster_loader_min_chunk_size说明：设置大文件切块的最小粒度，范围4M—128M，作用同加载SQL参数MIN_CHUNK_SIZE。默认值：64M，即小于128M的文件不进行切分。以下使用场景执行加载时不会对数据文件进行切分：1. 加载语句带参数NOSPLIT会关闭分块并行；；2. 加载语句有having lines separator或者format 5；3. 加载的文件是.gz或者.snappy压缩文件，建议打包小文件。关闭分块并行功能后，每个data节点处理1个文件，如下图示。<img src="https://g1.cdn.gbase.cn/Uploads/Ljv5secTTBvs7zXLO4kJp/2.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（一）

负载均衡配置GBase 8a支持负载均衡，根据任务数自动优选加载节点，提供以下参数配置加载任务负载均衡，提升加载性能：gcluster_loader_max_data_processors说明：集群中加载节点的数量，同加载SQL参数MAX_DATA_PROCESSORS。取值范围：1-300默认值：16调优值：建议4-6。gcluster_load_rebalance_seed说明：加载任务负载均衡控制，集群中加载节点的选择方式可通过此参数微调。默认值：5。调优值：加载任务随机选择执行任务数最少的几个data节点作为数据加载节点。在加载并发较多场景下，可以适当增加该值，从而增加满足加载机条件的data节点个数。示例：在12个data节点集群中，MAX_DATA_PROCESSORS=4的情况下，一次加载任务会随机选择不超过四个data节点作为加载机。如果gcluster_load_rebalance_seed值为5，集群中所有data节点的最小任务数为20，则所有任务数&lt;=25的data节点都可供本次加载任务随机选择为加载节点；但是&lt;=25的节点个数不足四个时，则使用满足该要求的几个节点作为加载机，因此可以调大rebalance_seed参数值来扩大可选加载机的范围，但通常不超过10。加载状态监控GBase 8a提供查看加载状态和加载结果的系统表与日志，支持加载过程监控、结果查询、错误数据溯源。加载状态信息查看：加载任务启动后，可通过SQL方式查看本次加载任务的状态信息。状态信息表information_schema.load_status中记录正在运行的所有加载任务的状态信息。加载结果：加载任务的结果信息存储在load_result.log文件中，可以通过information_schema.load_result系统视图查看。LOAD_RESULT表：记录当前 coordinator 节点的加载信息。CLUSTER_LOAD_RESULT表：记录所有 coordinator 节点的加载信息。注意：information_schema库的表查询都会占用内存，load_result表会话之间不共享，并发查询时每个会话会读取一份，load_result到自己的session内存中。加载设计过程中及运维过程中需合理使用information_schema库表的查询，及时清理废弃日志。加载接口开发GBase 8a集群通过gccli工具、jdbc/.net开发接口执行SQL语句加载数据，提供的开发接口包括：1、jdbc接口executeUpdate(loadSql) -- 执行加载语句stmt.getSkippedLines() -- 获取跳过错误数据行数stmt.getLoadTaskID() -- 获取加载任务id2、ado.net接口cmd.ExecuteNonQuery() -- 执行时间加载SQLcmd.RecordsSkipped -- 跳过错误数据行数cmd.RecordsTaskID -- 加载任务ID3、ODBC接口提供SQLROWCOUNT(hstmt,&amp;rowCount)获取加载成功行数SQLGetStmtAttr()中的SQL_RES_GBASE_LOAD_TASK_ID获取任务IDSQL_RES_LOAD_TASK_SKIPPED_LINES获取忽略行数4、Python API接口提供getInfo接口可获取成功行数、忽略行数、任务ID三个信息其它加载问题数据加载文件的读写一致性在使用freeNas等软件搭建数据文件服务器时，建议使用同一种文件访问接口，避免对同一个数据文件同时使用NFS接口、FTP接口， 容易出现文件读写不一致问题。加载SQL参数[MAX_BAD_RECORDS number]说明：用于设定错误数据的行数上限。取值范围：0~ 4294967295，0表示只要有错误数据就报错退出，加载任务自动回滚。调优值：所有集群节点独立计算加载错误数量，一旦有一个节点加载时错误数据达到本限制，则终止所有节点的加载任务。集群加载提交之前检查总错误条数是否超出限制，如果超出限制，放弃提交，报错退出。大量小文件加载优化（862.33R39、953版本及以上）一般小于10M的文件为小文件，大于1G的文件为大文件。相同数据量，文件个数越多，提升越多；同样大小的文件，文件个数越多，提升越多；相同数据源复用网络连接；集群层，相同目录文件转化成文件通配方式批量获取文件大小，不同目录文件复用网络连接。