本文继续探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。封锁产生的问题封锁技术在一定程度上解决了数据库的并发事务处理过程中，并发操作给数据库带来的数据一致性问题，但同时产生了新的问题如活锁和死锁。活锁问题在处理并发事务的过程中，如果事务T1在数据对象R上加锁，事务T2又请求为数据对象R加锁，则 T2 必须等待T1释放加在R上的锁。如果事务 T3 也请求为 R加锁，当T1释放了R上的锁之后系统首先响应T3的请求，则允许T3对R加锁，此时 T2 仍需等待T3 释放加在R上的锁。然后事务T4又请求封锁R，当T3释放了R上的封锁之后系统 又响应了T4的请求……T2有可能永远等待而无法为R加锁，这就是活锁（Live lock）。活锁由于事务永远得不到封锁而导致。避免活锁可以采用先来先服务的策略。当多个事务请求封锁同一个数据对象时，可按照请求封锁的先后次序对事务排队，数据对象上的锁一旦释放就批准申请队列的第一个事务获得封锁。　<img src="https://g1.cdn.gbase.cn/Uploads/SA8VcUu8xvbO60ngQsBfZ/1.jpeg">死锁问题如果事务 T1 对数据对象 R1 进行封锁，T2 对数据对象 R2 进行封锁，然后 T1 又请求对 R2 进行封锁，由于 T2 已封锁了 R2，则 T1 必须等待 T2 释放 R2 上的锁。接着 T2 又申请对 R1 进行封锁，由于 T1 已封锁 R1，因此，T2 也只能等待 T1 释放 R1 上的锁。这样就出现了事务 T1 等待另一个事务 T2 释放相关数据对象上的锁，而 T2 又在等待 T1 释放相关对象上的锁，T1 和 T2 两个事务由于相互等待对方释放数据对象上的锁而永远不能继续执行，这样就出现了死锁。死锁（Dead Lock）：系统中有两个或两个以上的事务都处于等待状态，并且每个事务都在等待其中另一个事务释放封锁，这样才能继续执行下去，结果造成任何一个事务都无法继续执行，这种现象称数据库系统进入了“死锁”（Dead Lock）状态。用例简单复现死锁产生GBase模式下（会话1）：<img src="https://g1.cdn.gbase.cn/Uploads/7gJElwoO64hHGQhOxrdbH/2.jpeg">那么两个会话分别在同一个库中，对a表和b表加上共享锁S，当想进行更新时，会话1在等待会话2释放a的S锁，而会话2在等待会话1释放b的S锁，从而导致死锁产生。那么在oracle模式下，该用例却不能产生死锁。因为在GBase模式下，开启事务后，可以保证两个会话在执行更新后才提交保证两个会话同时进行。而在oracle模式下，只能开启多语句模式，DML语句会自动开启事务，通过commit/rollback结束事务，DDL会提交事务。从而导致两个会话可能无法同时进行，因此并行变成串行，导致死锁无法产生。写在最后南大通用GBase 8s数据库的事务处理能力和并发控制机制，为企业提供了一个可靠、高效和安全的数据处理平台。无论是金融交易还是在线事务处理，GBase 8s都能确保数据的完整性和一致性，满足企业对数据库系统的要求。

南大通用GBase 8s数据库的封锁与并发事务调度（二）

数据库技术不断演进，“GBASE技术”作为GBASE南大通用技术分享的窗口，在过去的一年中为大家带来了满满的技术干货。这些自GBASE技术社区筛选出的文章涵盖数据库的功能解析、迁移适配、性能调优、运维管理以及故障处理等多个维度，旨在帮助用户和伙伴深度体验和操作GBase数据库。下面让我们一同回顾“GBASE技术”为我们刻印了哪些数据库独家“G”忆。&nbsp;数据库迁移<a href="https://mp.weixin.qq.com/s/1F51E-ImpEd6G6kjeX_cXg">Ø 异构数据库向南大通用GBase 8a迁移方案综述</a>概要介绍异构数据库迁移方案相关工作内容和技术要点。<a href="https://mp.weixin.qq.com/s/z__iuJ2XyXp5S_O053sB_Q">Ø GBase 8a数据库迁移的几种方法探讨</a>介绍GBase 8a数据全量迁移常规方法。<a href="https://mp.weixin.qq.com/s/J17XxbkfdH7Eapy5048rkA">Ø 数据库迁移新篇章之DB2与GBase 8s的深度对比</a>探讨两种数据库架构、变量与参数、存储限制等方面的异同，并提供具体的迁移方案。<a href="https://mp.weixin.qq.com/s/YdAeznltUxzNz2mjbwui7A">Ø 从Oracle迁移至南大通用GBase 8c解决方案</a>介绍数据库在架构和功能上存在差异的前提下，如何保证数据迁移不丢数、不宕机。&nbsp;数据库功能解析<a href="https://mp.weixin.qq.com/s/HiSaYIukgCIB83HxsUtHXQ">Ø GBASE南大通用GCDW云原生数据仓库多分片并发查询功能介绍</a>介绍GCDW云原生数据仓库多分片并发查询的功能概述及实现原理。<a href="https://mp.weixin.qq.com/s/G-AIDjOixudDi_grOVF94A">Ø GBase 8a集群透明网关与DBLINK使用介绍</a>协同运用DBLINK与透明网关服务，实现对远程数据库的查询以及远程数据与本地数据的关联运算。<a href="https://mp.weixin.qq.com/s/IjDekOjyJwhsX7vMUN2Wng">Ø GBase 8a数据库基于审计日志的冷温热数据分析</a>通过审计日志计算、分析数据表的使用频率，以便进行数据清理或数据迁移。<a href="https://mp.weixin.qq.com/s/wSlpB5JfKWNI-THInS0KAA">Ø 南大通用GBase 8a MPP Cluster操作系统升级解决方案</a>介绍操作系统升级前后应关注的注意事项以及操作步骤。<a href="https://mp.weixin.qq.com/s/KZNXYvgHvJnNOY1KeRG_Kg">Ø 技术分享 | GBASE南大通用同步工具 RTSync 使用简述</a>介绍同步工具 RTSync的安装部署、参数配置以及使用。<a href="https://mp.weixin.qq.com/s/EBa4Vi-PC60lKyMrIphmXA">Ø 南大通用GBase 8s SSC集群网络交互信息概述（上）</a>介绍GBase 8s SSC集群的网络交互机制<a href="https://mp.weixin.qq.com/s/-j4dKFuVzUN98O1CC3TRNw">Ø 南大通用GBase 8s SSC集群网络交互信息概述（下）</a>分析SSC集群在不同业务场景下的网络吞吐量的计算表现。<a href="https://mp.weixin.qq.com/s/XRoinF1f-fraOR6vwUaThg">Ø GBASE南大通用数据库“闪回”功能使用介绍</a>介绍南大通用基于共享存储的数据库集群GBase 8s内置“闪回”工具 onflsbk.sh。<a href="https://mp.weixin.qq.com/s/cSivZFIthh3A9qxEdYP06g">Ø 南大通用GBase 8s数据压缩策略</a>介绍GBase 8s的数据压缩功能，包括压缩的作用、方式、命令以及限制。<a href="https://mp.weixin.qq.com/s/hQ6IDUTRX_AqFW8Xwwfg4g">Ø 南大通用GBase 8s GCI使用指南</a>介绍GCI（GBase Client Interface）的使用，包括环境设置、程序编译、以及如何运行GCI程序<a href="https://mp.weixin.qq.com/s/7Wk59RtGxKUOomPKzkadsw">Ø 南大通用GBase 8s数据库的封锁与并发事务调度</a>探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。<a href="https://mp.weixin.qq.com/s/CbkvNLKQITT9JofDWWNjcw">Ø 南大通用GBase 8s RHAC集群基本原理和搭建步骤</a>介绍GBase 8s RHAC（Remote High Availability Cluster）的基本原理和搭建步骤。<a href="https://mp.weixin.qq.com/s/pmXx_S8BLNqw0Qbr2GIG2Q">Ø 南大通用GBase 8s高可用架构之快速搭建SSC共享存储集群</a>介绍在单机环境中快速部署SSC共享存储集群。<a href="https://mp.weixin.qq.com/s/Esc-AZk58kW5OcwjjpyDPQ">Ø 南大通用GBase 8c事务状态保持技术解析与实践</a>介绍GBase 8c的事务状态保持特性的基本概念及技术实现。<a href="https://mp.weixin.qq.com/s/QMT4l6UEpepOUarzjeF4XA">Ø 南大通用GBase 8c使用JDBC获取游标类型数据</a>介绍使用jdbc访问GBase 8c数据库时，如何获取其cursor游标数据。<a href="https://mp.weixin.qq.com/s/LeeM_TaVD2In9iPcdh8Jgg">Ø 使用Trino实现GBase 8c与异构数据库的数据迁移与联合查询</a>分享基于Trino这一开源的分布式 SQL 查询引擎实现GBase 8c与异构数据库的数据迁移与联合查询。&nbsp;数据库性能调优<a href="https://mp.weixin.qq.com/s/ebvpHZNXhmvV96lBvJpmYQ">Ø GBase 8a数据加载功能怎么用？如何实现性能最优？</a>对GBase 8a集群的加载功能模块从原理和架构两方面进行说明，并提供加载性能参数调优方案和kafka数据源的加载导出方案。<a href="https://mp.weixin.qq.com/s/Bt9uesiffpo1BypURKuiKw">Ø GBase8s数据库性能测试调优攻略</a>介绍如何对GBase8s数据库进行性能测试和调优。<a href="https://mp.weixin.qq.com/s/qlrqZYsBlLix8dFyP7bbNA">Ø GBase 8s性能提升之GCI批量插入功能</a>通过实际案例，探讨开启批量插入功能对数据库性能的影响。&nbsp;数据库运维管理<a href="https://mp.weixin.qq.com/s/sL1QNpZy2pE3CJcenuZUpw">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（上篇）</a>从硬件故障、操作系统故障及资源使用情况异常三种类别，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/ayXjzbfN4M5fSz3mT5y6pg">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（下篇）</a>数据库服务异常、数据丢失及其他异常等故障类型，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/vkGgKQ9MF9zPPUpUwtmRWw">Ø 迁移GBase8s数据库文件，释放空间</a>介绍目录空间耗尽时，通过迁移chunk文件释放存储。‌以上就是“GBASE技术”的年度“G”忆，藉由干货分享、真实案例多款GBase数据库产品得以让数据库极客们了解、掌握。未来，我们将持续输出更多高质量的技术文章，让国产数据库生态更加繁荣、茁壮。同时，也欢迎大家访问GBASE技术社区（<a href="https://www.gbase.cn/community">https://www.gbase.cn/community</a>），共同分享、沉淀更多GBase数据库的技术“G”忆。 &nbsp;

“G”忆新篇：GBASE数据库技术干货年度回顾

近日，国家管网集团自主研发的国产化油气管网数据采集与监控系统（SCADA系统）在国家管网各地区公司广泛上线运行。这是南大通用GBase数据库在国家管网SCADA系统国产化替代领域落地的又一重点案例。<img src="https://g1.cdn.gbase.cn/Uploads/BXB0AJ-IoilIHssKqQ-wN/1.jpg">油气管道SCADA系统是一种大型、专业化的工业控制软件与硬件系统的集成，实现油气管道生产过程控制与调度自动化。如果将我国超10万公里的油气管道干线比作“能源动脉”，那么SCADA系统就是控制“动脉”的“神经中枢”。油气管网需要7×24小时不间断运行，对SCADA系统可靠性要求极高。只有“极致靠谱”，才能满足实际应用需求。南大通用GBase数据库经受住了严苛业务场景考验，其高可靠、高稳定、高并发特性为国家管网大型调控中心级别的数据采集及监控提供坚实保障，实现了油气调控领域数据库层面的自主可控，对确保能源资源重要产业链供应链安全，实现油气能源“全国一张网”具有重要意义。在此之前，GBase数据库已陆续在国家管网生产和管理等15个业务信息系统部署上线，支撑国家管网的自主可控水平提升与数字化建设。目前，GBase数据库已在国家管网集团部署上线1000+套，其中SCADA系统部署近千套。未来，GBASE南大通用将持续聚焦自主创新，赋能智能化、数字化的现代油气管网建设，护航能源安全。 &nbsp;

极致可靠 GBase数据库助力国家管网集团打造能源动脉“中枢”

本文将分三章（第三章），对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。kafka数据集成GBase 8a集群支持使用kafka集群作为数据源进行数据加载和导出，kafka数据源加载任务的相关信息可以在gclusterdb系统库中表topicname_dbname_tbname里查看。加载kafka集群中的文本数据SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/xB2xPs2mnt8-B0vhlTE7s/1.jpeg">导出文本数据到kafka集群SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/0zUYW6BiYw-hxyKauOZBC/2.jpeg">Kafka broker高可用GBase 8a支持配置Kafka的broker高可用，支持一套带kerberos认证功能的kafka集群作为加载数据源：1、在gcluster配置文件中添加参数：gcluster_kafka_brokers 192.168.146.20:9092,192.168.146.21:9092’2、重启gcluster服务使其起效：gcluster_services all startKafka流式加载GBase 8a通过脚本实现Kafka流式加载，如：<img src="https://g1.cdn.gbase.cn/Uploads/WiQe6OxDgfhIc4E0wP9uS/3.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（三）

在金融行业数字化转型的进程中，数据已然成为最为关键的资产。《金融机构金融数据中心容灾建设指引》的发布，为金融数据中心的容灾能力设立了极高标准，其核心目的在于确保金融业务的稳定连贯以及数据的绝对安全。GBase 8a作为一款极具优势的分析型数据库，凭借一系列独特的技术特性，在金融数据中心容灾建设领域发挥着无可替代的关键作用。<img src="https://g1.cdn.gbase.cn/Uploads/Asg3lEwXwxCD9QFWE2R4r/1.png">金融行业数据管理的严峻挑战金融行业的数据不仅规模庞大，而且种类繁杂，涵盖实时交易记录、客户详细信息、风险评估数据以及监管报告数据等。随着金融科技的飞速发展，传统数据库在处理性能和数据安全防护方面的缺陷日益凸显，难以满足金融业务日益增长的复杂需求。在交易高峰期，传统数据库容易出现响应缓慢的状况，这直接影响了交易效率，导致客户体验变差；面对日益严格的监管要求，若数据安全防护存在漏洞，金融机构可能会面临严重的法律风险和声誉损失。&nbsp;GBase 8a的强大技术特点<img src="https://g1.cdn.gbase.cn/Uploads/Zfl-drG2JrQdfvlmG7Ysm/2.jpg">卓越的高并发处理能力：GBase 8a具备强大的并发处理性能，能够轻松应对数百万级别的并发交易请求。无论是日常海量的交易数据处理，还是在突发业务高峰时期，都能确保金融交易的实时性和稳定性，为金融业务的高效运转提供了坚实的技术支撑。先进的分布式架构：采用分布式架构，GBase 8a支持金融机构在多地进行部署并实现数据同步。通过这种分布式部署方式，数据被分散存储在不同地理位置的节点上。即便某个节点出现故障，其他节点也能迅速接替工作，保障业务不受影响，这与金融数据中心容灾建设追求业务连续性的理念高度契合。智能精准的分析能力：GBase 8a拥有强大的数据分析能力，能够对海量历史数据进行深度挖掘和分析。这一特性为金融机构的风险评估和精准营销提供了有力支持。在金融领域，精准的风险评估至关重要，GBase 8a凭借其智能分析能力，能够及时发现潜在风险，帮助金融机构制定合理有效的风险应对策略。创新的双活能力：GBase 8a创新地采用双活数据中心架构，两个数据中心同时处于活跃状态，均可对外提供服务。这种架构打破了传统主备模式下备用中心资源闲置的弊端，实现了资源的最大化利用。当其中一个数据中心遭遇突发故障时，业务能够在极短时间内自动切换至另一个数据中心，确保金融业务的零中断，极大地提升了业务连续性和服务可用性。高效的在线备份：支持在线热备份功能，GBase 8a在数据库运行过程中即可进行数据备份操作，无需暂停业务。这不仅确保了数据备份的及时性和完整性，而且不会对正常业务运行产生任何干扰。金融机构可以根据自身业务特点和需求，灵活设置备份策略，随时获取最新的数据副本，为数据安全增添了一道坚固的防线。可靠的离线备份：除了在线备份，GBase 8a 还提供了可靠的离线备份方案。将数据备份至磁带库等离线存储介质，能够有效防止因网络攻击、病毒感染等意外情况导致的数据丢失风险。离线备份的数据可以作为数据恢复的最后保障，在极端情况下确保金融数据的安全和可恢复性。领先的云原生特性：GBase 8a具备领先的云原生特性，能够与金融云环境实现无缝融合。通过容器化部署，GBase 8a可以实现资源的灵活调配和快速扩展，满足金融业务的弹性需求。借助云平台的高可用性和安全性，GBase 8a进一步提升了数据中心的容灾能力，同时降低了运维成本，为金融机构的数字化转型提供了强大助力。&nbsp;GBase 8a 在金融数据中心容灾建设中的应用<img src="https://g1.cdn.gbase.cn/Uploads/h7s6cHT8N9CUgKytah6Om/3.jpg">存储安全保障：依据《金融机构金融数据中心容灾建设指引》对存储安全的要求，GBase 8a 提供多副本技术，对数据进行存储级别的冗余处理。与传统磁盘镜像技术不同，GBase 8a不仅保证数据数值的准确性，还能确保数据逻辑的正确性，从而保障数据在存储层面的安全性和完整性，为金融数据的长期保存和使用提供可靠的基础。服务安全保障：在服务层面，GBase 8a采用联邦架构形式。其核心组件分布式管理集群 gcware、分布式调度集群 gcluster 和分布式存储集群 gnode 协同工作，提供池化管理。多个 coordinatorserver 放置于管理池中公用，任何一个节点服务出现问题都不会影响系统的正常运行，无需进行复杂的切换操作，有效保障了金融业务的不间断运行。实际案例验证：以某城商行为例，该行采用 GBase 8a分析型数据库构建数据中心。自2022 年建成运行以来，取得了显著的成效。与原数据库相比，数据加载性能提升了3倍以上，即席查询和统计分析性能提升了6倍以上。GBase 8a有效支撑了各个历史数据的分析应用，为领导决策提供了客观、准确的依据。同时，其高扩展性也能够很好地应对新的业务需求。在容灾方面，GBase 8a的架构和技术特点确保了数据中心在面对各种潜在风险时的稳定性和可靠性。&nbsp;选择 GBase 8a的优势GBase 8a不仅能够完全满足《金融机构金融数据中心容灾建设指引》的要求，还能为金融机构带来诸多额外价值。它能够显著提升数据处理效率，降低运营成本；通过智能分析挖掘数据的潜在价值，助力金融机构实现精准营销和风险管控。此外，GBase 8a的高可用性、可扩展性以及丰富的容灾特性，使其能够很好地适应金融行业不断变化的业务需求，为金融机构的长期稳定发展提供持续的技术支持。在金融数据中心容灾建设这一关键任务中，GBase 8a凭借其出色的技术实力、可靠的容灾方案和丰富的实践经验，无疑是金融机构的理想选择。选择 GBase 8a，就是选择金融数据的安全保障，选择金融业务的持续稳定发展。&nbsp;

GBase 8a：金融数据中心容灾建设的可靠伙伴

本文将分三章，对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。功能特性GBase 8a集群加载支持本地文件、ftp/sftp、http/https、hdfs、kafka、S3等常用数据源；支持使用平文本、avro/orc(未release)文件格式进行加载；支持使用压缩格式gzip、snnapy、lzo进行加载；支持普通文本、定长、宽松加载模式；支持kerberos认证，多namenode高可用；支持多表、单表并行加载，多数据源并行加载；支持多点传输，多节点并行数据解析，单节点多线程并行。架构及原理GBase 8a加载功能架构图如下：<img src="https://g1.cdn.gbase.cn/Uploads/KROr8xPImhJ8N4j-zVbo0/1.jpeg">1：数据加载SQL下发，gcluster接收SQL任务。2：gcluster解析URL生成具体的源数据文件列表；gcluster按gnode加载节点数量均分源数据文件。如15G数据文件均分3个加载节点时，gcluster进行数据切分，每个加载节点5G加载任务；完成数据切分后，gcluster给gnode加载节点下发加载SQL任务。3：gnode接收加载SQL任务后，去文件服务器上读取指定数据；gnode对读取到的加载数据进行解析；将合法数据按表和hash列分配归入对应表分片的DC中；gnode将DC压缩文件转发到对应的主分片节点上；主分片gnode节点将收到的DC文件组装好后实时转发到副本节点上。加载性能调优及相关参数加载性能调优GBase 8a采用多点传输技术，集群中的每个节点均参与数据的解析和加载，且加载性能可以随着集群节点数的增加线性扩展，通过加载性能调优，仅使用8台服务器即达到33TB/小时的加载速度。加载性能相关参数gcluster_loader_max_data_processors说明：单个加载任务并行加载机的个数默认值：16调优值：在加载并发较高、集群节点较多场景下推荐配置为4~8gbase_loader_parallel_degree说明：data节点执行单个加载任务的并行度默认值：0，使用CPU核数一半，当设置值大于线程池数量时，则使用线程池数量。调优值：配置为4~6。可以通过set方式设置，也可以使用PARALLEL在加载语句中指定。_gbase_dc_sync_size说明：数据文件磁盘落地大小默认值：1TB调优值：当存在data节点磁盘IO繁忙、加载性能缓慢、CPU资源利用低时，可调小该参数，推荐10Mgbase_parallel_max_thread_in_pool说明：线程池中的线程总数，用于配置线程池大小。默认值：CPU核数的2倍调优值：在每个服务器上部署1个gnode节点的情况下推荐该配置为CPU核数的4~8倍。gcluster_enable_serial_load、gcluster_serial_exec_query说明：限制任务并发数，调优值：开启gcluster_enable_serial_load参数后，每个gcluster节点可以下发gcluster_serial_exec_query个SQL任务（select、insert select、load等），主要控制并发时，下发到gnode的SQL数量，超过后排队。gbase_loader_max_line_length说明：超长行大小默认值：4M调优值：当数据文件中存在超过4M大小的行时，加载任务会报错中断，增加该值可以跳过该行继续加载，超过4M的数据保存在errdata中gbase_loader_read_timeout说明：数据文件读取超时，读取ftp/http/sftp文件超时的时间设置默认值：300秒，0无限制。调优值：当集群负载较高、数据源IO或网络较差时，调大该参数可避免数据源读取超时报错数据源服务器参数如ftp/sftp并发访问数、端口数等，具体问题具体分析数据源并发数评估集群最大并发加载任务数为N，单加载任务最大加载机数（max_data_processors）为M时，数据源推荐的并发数不低于M*N。分块加载分块加载原理：gcluster文件切分是用URL表示的多个逻辑块，交由多个data节点并行加载，文件服务器并不实际进行文件切分。加载按行处理，data节点对分配给自己的逻辑块数据逐行进行加载，排除开头属于前一个节点的数据（第一个换行符前），以及读取结尾完整的数据行（直到下一节点的第一个换行符为止）。加载数据量：一次加载支持读取和处理的数据量大小与以下参数相关：gbase_loader_buffer_count说明：加载使用内存块数。data节点内部维护一个内存链表。默认值：16gbase_loader_line_length说明：各内存块大小。data节点从数据源一次性读取4M大小的数据内容放到内存链表中进行后续处理。默认值：4M分块加载使用场景：对于不同使用场景，可灵活调整分块加载配置：对于加载节点少，加载任务的数据总量大的使用场景，gcluster将一次加载任务中的数据总量按加载节点数均分给各个加载节点并行执行，能大幅提升加载性能。对于加载节点多，加载任务的数据总量小，避免对数据切块粒度太小降低加载性能，可通过以下参数调优：gcluster_loader_min_chunk_size说明：设置大文件切块的最小粒度，范围4M—128M，作用同加载SQL参数MIN_CHUNK_SIZE。默认值：64M，即小于128M的文件不进行切分。以下使用场景执行加载时不会对数据文件进行切分：1. 加载语句带参数NOSPLIT会关闭分块并行；；2. 加载语句有having lines separator或者format 5；3. 加载的文件是.gz或者.snappy压缩文件，建议打包小文件。关闭分块并行功能后，每个data节点处理1个文件，如下图示。<img src="https://g1.cdn.gbase.cn/Uploads/Ljv5secTTBvs7zXLO4kJp/2.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（一）

负载均衡配置GBase 8a支持负载均衡，根据任务数自动优选加载节点，提供以下参数配置加载任务负载均衡，提升加载性能：gcluster_loader_max_data_processors说明：集群中加载节点的数量，同加载SQL参数MAX_DATA_PROCESSORS。取值范围：1-300默认值：16调优值：建议4-6。gcluster_load_rebalance_seed说明：加载任务负载均衡控制，集群中加载节点的选择方式可通过此参数微调。默认值：5。调优值：加载任务随机选择执行任务数最少的几个data节点作为数据加载节点。在加载并发较多场景下，可以适当增加该值，从而增加满足加载机条件的data节点个数。示例：在12个data节点集群中，MAX_DATA_PROCESSORS=4的情况下，一次加载任务会随机选择不超过四个data节点作为加载机。如果gcluster_load_rebalance_seed值为5，集群中所有data节点的最小任务数为20，则所有任务数&lt;=25的data节点都可供本次加载任务随机选择为加载节点；但是&lt;=25的节点个数不足四个时，则使用满足该要求的几个节点作为加载机，因此可以调大rebalance_seed参数值来扩大可选加载机的范围，但通常不超过10。加载状态监控GBase 8a提供查看加载状态和加载结果的系统表与日志，支持加载过程监控、结果查询、错误数据溯源。加载状态信息查看：加载任务启动后，可通过SQL方式查看本次加载任务的状态信息。状态信息表information_schema.load_status中记录正在运行的所有加载任务的状态信息。加载结果：加载任务的结果信息存储在load_result.log文件中，可以通过information_schema.load_result系统视图查看。LOAD_RESULT表：记录当前 coordinator 节点的加载信息。CLUSTER_LOAD_RESULT表：记录所有 coordinator 节点的加载信息。注意：information_schema库的表查询都会占用内存，load_result表会话之间不共享，并发查询时每个会话会读取一份，load_result到自己的session内存中。加载设计过程中及运维过程中需合理使用information_schema库表的查询，及时清理废弃日志。加载接口开发GBase 8a集群通过gccli工具、jdbc/.net开发接口执行SQL语句加载数据，提供的开发接口包括：1、jdbc接口executeUpdate(loadSql) -- 执行加载语句stmt.getSkippedLines() -- 获取跳过错误数据行数stmt.getLoadTaskID() -- 获取加载任务id2、ado.net接口cmd.ExecuteNonQuery() -- 执行时间加载SQLcmd.RecordsSkipped -- 跳过错误数据行数cmd.RecordsTaskID -- 加载任务ID3、ODBC接口提供SQLROWCOUNT(hstmt,&amp;rowCount)获取加载成功行数SQLGetStmtAttr()中的SQL_RES_GBASE_LOAD_TASK_ID获取任务IDSQL_RES_LOAD_TASK_SKIPPED_LINES获取忽略行数4、Python API接口提供getInfo接口可获取成功行数、忽略行数、任务ID三个信息其它加载问题数据加载文件的读写一致性在使用freeNas等软件搭建数据文件服务器时，建议使用同一种文件访问接口，避免对同一个数据文件同时使用NFS接口、FTP接口， 容易出现文件读写不一致问题。加载SQL参数[MAX_BAD_RECORDS number]说明：用于设定错误数据的行数上限。取值范围：0~ 4294967295，0表示只要有错误数据就报错退出，加载任务自动回滚。调优值：所有集群节点独立计算加载错误数量，一旦有一个节点加载时错误数据达到本限制，则终止所有节点的加载任务。集群加载提交之前检查总错误条数是否超出限制，如果超出限制，放弃提交，报错退出。大量小文件加载优化（862.33R39、953版本及以上）一般小于10M的文件为小文件，大于1G的文件为大文件。相同数据量，文件个数越多，提升越多；同样大小的文件，文件个数越多，提升越多；相同数据源复用网络连接；集群层，相同目录文件转化成文件通配方式批量获取文件大小，不同目录文件复用网络连接。

南大通用GBase 8a数据库数据加载功能及调优（二）

GBASE南大通用中标中旅数科自主可控应用替代数据库项目

数字化浪潮奔涌而来，各行各业正藉由信息技术应用创新契机构筑发展的核心驱动力。作为国产数据库领域的领先企业，GBASE南大通用坚持以用户需求为导向，以自主创新为基石，推动金融、电信、能源、交通等行业数字化转型，全面助力行业用户信创建设与业务高速发展，谱写了一幅幅数据赋能行业发展的“G”忆画卷。&nbsp;金融：规模化部署助推数智升级<a href="https://www.gbase.cn/news/3594"><img src="https://g1.cdn.gbase.cn/Uploads/wFkm-C1pcQ6OROISGv4S_/1.jpg"></a>（点击图片查看详情）在金融行业，GBASE南大通用深耕金融领域十余载，服务200+金融机构，部署数据库20000+套，中国金融行业数据库用户渗透率第一。（点击此处了解详情）GBase数据库以高性能、高稳定和高安全支撑起银行、保险、证券等金融机构的核心业务系统、数据仓库以及一般业务系统、办公系统。GBASE南大通用以技术创新塑造产品核心竞争力，赋能金融业务发展，通过自主研发与创新满足金融业务需要与安全可控要求；基于头部金融机构真实业务场景，持续打磨产品，提升性能与可用性；打造标杆案例，逐级复制、推广，成为助推金融数智升级的核心力量。 &nbsp;&nbsp;电信：数智重构燃起国产化烽燧<a href="https://www.gbase.cn/news/3632"><img src="https://g1.cdn.gbase.cn/Uploads/TpdOa7NvmOQ17Oa2Bkbv3/2.jpg"></a>（点击图片查看详情）在电信行业，将近二十年的深耕，GBASE南大通用深刻理解电信用户业务场景，具备丰富技术服务经验，携手用户联合攻坚核心技术的过程中，全栈GBase数据库产品在电信行业实现规模化部署和应用。GBase数据库在中国移动、中国联通、中国电信等运营商单位的60多个集团总部/省分公司部署，深入其B域（业务域）、O域（运营域）、M域 （管理域）等各项业务系统，有力支撑我国现代移动通信产业基础设施建设。其中，仅中国移动，GBase数据库部署超过7000个节点、管理数据达70PB。&nbsp;能源：自主可控 织就能源安全密网<a href="https://www.gbase.cn/news/3565"><img src="https://g1.cdn.gbase.cn/Uploads/YoGot-z8eeof6_iUo4EiS/3.jpg"></a>（点击图片查看详情）在能源行业，GBASE南大通用深度参与国家管网集团信息化建设，部署近千套GBase数据库，建设智能化、数字化的现代油气管网；赋能中国石化数智化升级，支撑智能油田建设试点、胜利数据治理数据湖建设试点以及海洋采油厂智能油田建设等项目；上线国家电网调度云中心、中国石油安全检查平台、油田生产监控系统、发电厂监控系统以及新能源变电站自动巡检、设备集中控制系统……一个又一个能源领域的信息系统中都涌现着GBase数据库的身影，一个个节点的GBase数据库共同织就了护卫我国能源安全的数据密网。&nbsp;交通：敢为人先 挺进核心业务系统<a href="https://www.gbase.cn/news/3562"><img src="https://g1.cdn.gbase.cn/Uploads/zq56pvtC_7TMy9Jg4B6t8/4.jpg"></a>（点击图片查看详情）在交通行业，GBASE南大通用率先打破国外垄断，挺进交通核心业务系统，支持建设铁路新一代客票及电子支付平台等系统，为铁路的客票系统提供快捷的查询、分析及报表服务；深度应用于涉及资金结算以及多条线路交汇、控制的轨道交通核心系统，相继上线全国27座城市的70+条线路，支撑城市轨道交通的自动售检票系统、清分中心、多线路中心、互联网票务系统、综合监控系统、运营指挥中心等主要业务系统，每日支持千万量级乘客的日常出行，助力交通行业实现智能化升级。金融、电信、能源、交通……GBase数据库的身影于一个又一个关键领域的数字化进程中不断涌现。GBASE南大通用以卓越的创新水平与端到端的服务能力赋能千行百业，擎画行业数智未来的全新篇章，让“数”里“行”间的经济强劲脉动。 &nbsp;

“G”忆新篇：GBASE数据库擘画行业数智未来

近日，亿欧智库发布《2024信创产业新发展趋势及百强报告》（以下简称“《报告》”），对中国信创产业的发展现状、趋势以及行业内的重要企业进行了深度剖析，同时发布了“2024年度中国精选100强信创厂商”榜单。GBASE南大通用凭借深厚技术创新底蕴和广泛信创应用实践，实力入选“2024年度中国精选100强信创厂商”。<img src="https://g1.cdn.gbase.cn/Uploads/U-po7HLwIKIbbv26zjtKA/2024年中国精选100强信创厂商.jpg">《报告》显示，在政策与市场双轮驱动下，信创产业由试点转为全面铺开，向“横向拓宽”和“纵向下沉”持续发展。数据库作为信息系统的重要基础支撑，在整个信创产业中占据着重要地位。2024年数据库领域招标项目占据基础软件整体中标金额的46.2%，以金融、电信与能源（电力）行业为主。2025年，随着区县信创落地、金融核心系统信创加深以及医疗、制造业领域信创的进一步扩张，信创产业将迎来新的增长。在此背景下，GBASE南大通用紧跟产业趋势，凭借在数据库领域二十年的技术创新与积累，以自主研发的“GBase数据库系列产品”为核心竞争力，为党政自主信息化建设、金融核心系统信创攻关、电信运营商数智升级、能源安全防线构建、智能交通动脉贯通、医疗卫建信创升级、教育信息化基础设施建设提供自主高效、稳定安全的数据管理解决方案，在技术突破、产品矩阵、应用落地、生态构建等维度保持领先优势，持续助力信创产业发展。未来，GBASE南大通用将继续坚持自主创新，以技术突破为驱动，以生态共建为支撑；“横向拓宽”，不断完善产品与服务，覆盖用户多维度需求；“纵向下沉”，深入用户核心业务场景，全面赋能数字中国建设，为我国信创产业的高质量发展注入数智新动能。 &nbsp;