本文将分两章（第一章）详细介绍GBase 8s的数据压缩功能，包括压缩的作用、方式、命令以及限制。在存储空间有限、需要减少数据占用空间、提高数据处理效率的情况下会用到GBase 8s数据压缩；同时推荐对不常更新的数据表、分片进行压缩。为存储空间节省和I/O效率提升提供了有效解决方案。01 数据压缩作用1、节省存储空间和相应成本2、提高I/O效率1）数据库在读取数据的时候是读取压缩后的数据2）减少I/O节省下来的时间 &gt; 在内存中解压缩数据所需的时间3、提高读操作性能4、写操作性能可能会略有下降02 数据压缩方式1、新表自动压缩1）自动压缩：CREATE TABLE cust5 ( ...) COMPRESSEDa. 自动生成数据字典b. 自动压缩数据light append方式light append方式可以绕过缓冲池，进行更加快速的数据加载。同时满足以下两个条件时会自动启用：1.‌row table2.no index2、取消自动压缩：task/admin(table uncompress)3、重新压缩：tash/admin(table compress)4、控制解压分片：task/admin(fragment compress/uncompress)03 已存在的表压缩1、开启数据压缩EXECUTE FUNCTION TASK('enable compression');2、生成数据字典压缩execute function task('table create_dctionary', 'stdtab', 'test',‘gbasedbt');3、整合数据空间，将未被使用的空间整合到表或分片的尾部；execute function task('table compress repack', 'stdtab', 'test',‘gbasedbt');4、将数据表或分片未被使用的空间还给数据库空间；execute function task('table shrink', 'stdtab', 'test',‘gbasedbt');execute function task('fragment shrink', ‘partn');

南大通用GBase 8s数据库数据压缩策略（一）

在数字化浪潮席卷而来的今天，出于系统架构、成本以及业务的考量，越来越多企业用户需要完成异构数据库间的适配迁移。南大通用GBase 8c数据库作为第三代智能化数据库产品，具有多模多态、弹性伸缩、强一致性分布式事务等产品特性，能够承载企业海量的数据；将繁重工作负载分配到多台服务器上并行处理，提高系统的吞吐量和响应速度，提供更高的性能、容错性和可靠性。同时GBase 8c具备高兼容性，提供全套完备的数据迁移方案与工具，实现不同数据库至GBase 8c的平滑迁移。本文以MySQL数据库迁移至GBase 8c数据库为例，介绍迁移工作中的关键步骤。迁移前的关键准备工作环境评估与兼容性分析（1）根据源库特征，来选择GBase 8c目标库兼容模式。本文以MySQL为源库，则目标库应选择B兼容模式，在创建database时指定。（2）校验对象兼容性，重点检查源库的存储过程、触发器、自定义函数等高级特性，例如MySQL的“ENUM”类型和“TINYINT”已实现原生兼容 。（3）字符集适配。需要注意的是GBase 8c默认字符集为“SQL_ASCII”，在创建库时需要显式设置“UTF8MB4”以匹配MySQL标准。综上因素，创建目标库的database。例如创建mytest库，指定兼容模式为B、设置字符集，执行命令：CREATE DATABASE mytest WITH DBCOMPATIBILITY='B' ENCODING='UTF8MB4';对目标库再次确认兼容模式，执行命令：SELECT datname,datcompatibility FROM pg_database;2. 迁移工具选型策略&nbsp;GBase 8c自带的命令行工具链，适用于迁移自动化流水线场景，包含gs_dump逻辑导出工具与gsql数据加载工具等。配套可视化工具DMT，采用B/S架构，支持Docker一键部署，提供数据迁移、数据同步、数据校验三大核心功能模块。&nbsp;迁移实施核心步骤详解1. 数据库对象迁移&nbsp;（1）表结构转换 &nbsp;通过mysqldump --no-data导出DDL脚本后，GBase 8c可直接执行90%以上的MySQL建表语句。特殊处理场景例如：&nbsp;<ul><li>时间精度处理：根据是否有时区，将DATETIME(6)转换为TIMESTAMP(6) WITH TIME ZONE或TIMESTAMP(6) WITHOUT TIME ZONE</li><li>索引优化：分布式环境下建议采用哈希分布键替代B树索引</li></ul>（2）存储过程迁移该对象可能需要进行语法转换，例如：MySQL原语句为：DELIMITER //CREATE PROCEDURE get_users()BEGIN&nbsp;SELECT * FROM users;END //DELIMITER ;GBase 8c适配后语句转换：CREATE OR REPLACE PROCEDURE get_users()LANGUAGE plpgsqlAS $$BEGIN RETURN QUERY SELECT * FROM users;END;$$;2. 数据迁移实施使用MySQL自带的工具进行数据导出，例如执行：mysqldump -u root -p --single-transaction --databases db1 &gt; full_backup.sql数据导出到full_backup.sql文件中。GBase 8c进行数据加载，例如执行： gsql -d target_db -p 15400 -f full_backup.sql &nbsp;将full_backup.sql文件中数据进行导入。建议：TB级数据采用分片并行加载策略以提升吞吐量&nbsp;典型问题与解决方案&nbsp;1. 字符集冲突&nbsp;&nbsp;例如在迁移时出现错误：ERROR: could not determine collation for view column。根据错误提示可了解到是由于未指定字符集。解决方法：显式指定COLLATE utf8mb4_general_ci，执行：CREATE VIEW v1 AS SELECT col1 COLLATE "utf8mb4_general_ci" FROM tbl1;2. 分布式事务优化 &nbsp;在迁移时，如果出现跨节点UPDATE语句性能下降的问题。解决方法：<ul><li>启用SET dolphin.b_compatibility_mode = on，开启dolphin兼容性插件，以提升语法兼容性</li><li>采用HASH分布优化数据局部性</li></ul>3. 函数兼容性处理假如在迁移时出现STR_TO_DATE返回值类型不匹配的问题。解决方法：添加显式类型转换，例如执行：SELECT (STR_TO_DATE('2023-01-01', '%Y-%m-%d')::timestamp) + INTERVAL '1 day';&nbsp;迁移后验证在数据迁移完成后需要对其进行校验，确保数据的完整性和准确性，可以通过以下方式进行验证：<ul><li>比对表行数：比较MySQL和GBase8c中每个表行数是否一致。</li><li>随机抽样：随机抽取一部分数据，收到验证数据的一致性。</li><li>检查外键约束和索引：确保所有外键约束和索引都已正确迁移。</li></ul>&nbsp;

数据库迁移怎么破？MySQL到南大通用GBase 8c迁移方案来啦

数据库技术不断演进，“GBASE技术”作为GBASE南大通用技术分享的窗口，在过去的一年中为大家带来了满满的技术干货。这些自GBASE技术社区筛选出的文章涵盖数据库的功能解析、迁移适配、性能调优、运维管理以及故障处理等多个维度，旨在帮助用户和伙伴深度体验和操作GBase数据库。下面让我们一同回顾“GBASE技术”为我们刻印了哪些数据库独家“G”忆。&nbsp;数据库迁移<a href="https://mp.weixin.qq.com/s/1F51E-ImpEd6G6kjeX_cXg">Ø 异构数据库向南大通用GBase 8a迁移方案综述</a>概要介绍异构数据库迁移方案相关工作内容和技术要点。<a href="https://mp.weixin.qq.com/s/z__iuJ2XyXp5S_O053sB_Q">Ø GBase 8a数据库迁移的几种方法探讨</a>介绍GBase 8a数据全量迁移常规方法。<a href="https://mp.weixin.qq.com/s/J17XxbkfdH7Eapy5048rkA">Ø 数据库迁移新篇章之DB2与GBase 8s的深度对比</a>探讨两种数据库架构、变量与参数、存储限制等方面的异同，并提供具体的迁移方案。<a href="https://mp.weixin.qq.com/s/YdAeznltUxzNz2mjbwui7A">Ø 从Oracle迁移至南大通用GBase 8c解决方案</a>介绍数据库在架构和功能上存在差异的前提下，如何保证数据迁移不丢数、不宕机。&nbsp;数据库功能解析<a href="https://mp.weixin.qq.com/s/HiSaYIukgCIB83HxsUtHXQ">Ø GBASE南大通用GCDW云原生数据仓库多分片并发查询功能介绍</a>介绍GCDW云原生数据仓库多分片并发查询的功能概述及实现原理。<a href="https://mp.weixin.qq.com/s/G-AIDjOixudDi_grOVF94A">Ø GBase 8a集群透明网关与DBLINK使用介绍</a>协同运用DBLINK与透明网关服务，实现对远程数据库的查询以及远程数据与本地数据的关联运算。<a href="https://mp.weixin.qq.com/s/IjDekOjyJwhsX7vMUN2Wng">Ø GBase 8a数据库基于审计日志的冷温热数据分析</a>通过审计日志计算、分析数据表的使用频率，以便进行数据清理或数据迁移。<a href="https://mp.weixin.qq.com/s/wSlpB5JfKWNI-THInS0KAA">Ø 南大通用GBase 8a MPP Cluster操作系统升级解决方案</a>介绍操作系统升级前后应关注的注意事项以及操作步骤。<a href="https://mp.weixin.qq.com/s/KZNXYvgHvJnNOY1KeRG_Kg">Ø 技术分享 | GBASE南大通用同步工具 RTSync 使用简述</a>介绍同步工具 RTSync的安装部署、参数配置以及使用。<a href="https://mp.weixin.qq.com/s/EBa4Vi-PC60lKyMrIphmXA">Ø 南大通用GBase 8s SSC集群网络交互信息概述（上）</a>介绍GBase 8s SSC集群的网络交互机制<a href="https://mp.weixin.qq.com/s/-j4dKFuVzUN98O1CC3TRNw">Ø 南大通用GBase 8s SSC集群网络交互信息概述（下）</a>分析SSC集群在不同业务场景下的网络吞吐量的计算表现。<a href="https://mp.weixin.qq.com/s/XRoinF1f-fraOR6vwUaThg">Ø GBASE南大通用数据库“闪回”功能使用介绍</a>介绍南大通用基于共享存储的数据库集群GBase 8s内置“闪回”工具 onflsbk.sh。<a href="https://mp.weixin.qq.com/s/cSivZFIthh3A9qxEdYP06g">Ø 南大通用GBase 8s数据压缩策略</a>介绍GBase 8s的数据压缩功能，包括压缩的作用、方式、命令以及限制。<a href="https://mp.weixin.qq.com/s/hQ6IDUTRX_AqFW8Xwwfg4g">Ø 南大通用GBase 8s GCI使用指南</a>介绍GCI（GBase Client Interface）的使用，包括环境设置、程序编译、以及如何运行GCI程序<a href="https://mp.weixin.qq.com/s/7Wk59RtGxKUOomPKzkadsw">Ø 南大通用GBase 8s数据库的封锁与并发事务调度</a>探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。<a href="https://mp.weixin.qq.com/s/CbkvNLKQITT9JofDWWNjcw">Ø 南大通用GBase 8s RHAC集群基本原理和搭建步骤</a>介绍GBase 8s RHAC（Remote High Availability Cluster）的基本原理和搭建步骤。<a href="https://mp.weixin.qq.com/s/pmXx_S8BLNqw0Qbr2GIG2Q">Ø 南大通用GBase 8s高可用架构之快速搭建SSC共享存储集群</a>介绍在单机环境中快速部署SSC共享存储集群。<a href="https://mp.weixin.qq.com/s/Esc-AZk58kW5OcwjjpyDPQ">Ø 南大通用GBase 8c事务状态保持技术解析与实践</a>介绍GBase 8c的事务状态保持特性的基本概念及技术实现。<a href="https://mp.weixin.qq.com/s/QMT4l6UEpepOUarzjeF4XA">Ø 南大通用GBase 8c使用JDBC获取游标类型数据</a>介绍使用jdbc访问GBase 8c数据库时，如何获取其cursor游标数据。<a href="https://mp.weixin.qq.com/s/LeeM_TaVD2In9iPcdh8Jgg">Ø 使用Trino实现GBase 8c与异构数据库的数据迁移与联合查询</a>分享基于Trino这一开源的分布式 SQL 查询引擎实现GBase 8c与异构数据库的数据迁移与联合查询。&nbsp;数据库性能调优<a href="https://mp.weixin.qq.com/s/ebvpHZNXhmvV96lBvJpmYQ">Ø GBase 8a数据加载功能怎么用？如何实现性能最优？</a>对GBase 8a集群的加载功能模块从原理和架构两方面进行说明，并提供加载性能参数调优方案和kafka数据源的加载导出方案。<a href="https://mp.weixin.qq.com/s/Bt9uesiffpo1BypURKuiKw">Ø GBase8s数据库性能测试调优攻略</a>介绍如何对GBase8s数据库进行性能测试和调优。<a href="https://mp.weixin.qq.com/s/qlrqZYsBlLix8dFyP7bbNA">Ø GBase 8s性能提升之GCI批量插入功能</a>通过实际案例，探讨开启批量插入功能对数据库性能的影响。&nbsp;数据库运维管理<a href="https://mp.weixin.qq.com/s/sL1QNpZy2pE3CJcenuZUpw">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（上篇）</a>从硬件故障、操作系统故障及资源使用情况异常三种类别，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/ayXjzbfN4M5fSz3mT5y6pg">Ø 数据库出现故障时，如何应急处理?别慌，照这样做（下篇）</a>数据库服务异常、数据丢失及其他异常等故障类型，提供数据库问题基本解决思路。<a href="https://mp.weixin.qq.com/s/vkGgKQ9MF9zPPUpUwtmRWw">Ø 迁移GBase8s数据库文件，释放空间</a>介绍目录空间耗尽时，通过迁移chunk文件释放存储。‌以上就是“GBASE技术”的年度“G”忆，藉由干货分享、真实案例多款GBase数据库产品得以让数据库极客们了解、掌握。未来，我们将持续输出更多高质量的技术文章，让国产数据库生态更加繁荣、茁壮。同时，也欢迎大家访问GBASE技术社区（<a href="https://www.gbase.cn/community">https://www.gbase.cn/community</a>），共同分享、沉淀更多GBase数据库的技术“G”忆。 &nbsp;

“G”忆新篇：GBASE数据库技术干货年度回顾

本文继续探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。封锁产生的问题封锁技术在一定程度上解决了数据库的并发事务处理过程中，并发操作给数据库带来的数据一致性问题，但同时产生了新的问题如活锁和死锁。活锁问题在处理并发事务的过程中，如果事务T1在数据对象R上加锁，事务T2又请求为数据对象R加锁，则 T2 必须等待T1释放加在R上的锁。如果事务 T3 也请求为 R加锁，当T1释放了R上的锁之后系统首先响应T3的请求，则允许T3对R加锁，此时 T2 仍需等待T3 释放加在R上的锁。然后事务T4又请求封锁R，当T3释放了R上的封锁之后系统 又响应了T4的请求……T2有可能永远等待而无法为R加锁，这就是活锁（Live lock）。活锁由于事务永远得不到封锁而导致。避免活锁可以采用先来先服务的策略。当多个事务请求封锁同一个数据对象时，可按照请求封锁的先后次序对事务排队，数据对象上的锁一旦释放就批准申请队列的第一个事务获得封锁。　<img src="https://g1.cdn.gbase.cn/Uploads/SA8VcUu8xvbO60ngQsBfZ/1.jpeg">死锁问题如果事务 T1 对数据对象 R1 进行封锁，T2 对数据对象 R2 进行封锁，然后 T1 又请求对 R2 进行封锁，由于 T2 已封锁了 R2，则 T1 必须等待 T2 释放 R2 上的锁。接着 T2 又申请对 R1 进行封锁，由于 T1 已封锁 R1，因此，T2 也只能等待 T1 释放 R1 上的锁。这样就出现了事务 T1 等待另一个事务 T2 释放相关数据对象上的锁，而 T2 又在等待 T1 释放相关对象上的锁，T1 和 T2 两个事务由于相互等待对方释放数据对象上的锁而永远不能继续执行，这样就出现了死锁。死锁（Dead Lock）：系统中有两个或两个以上的事务都处于等待状态，并且每个事务都在等待其中另一个事务释放封锁，这样才能继续执行下去，结果造成任何一个事务都无法继续执行，这种现象称数据库系统进入了“死锁”（Dead Lock）状态。用例简单复现死锁产生GBase模式下（会话1）：<img src="https://g1.cdn.gbase.cn/Uploads/7gJElwoO64hHGQhOxrdbH/2.jpeg">那么两个会话分别在同一个库中，对a表和b表加上共享锁S，当想进行更新时，会话1在等待会话2释放a的S锁，而会话2在等待会话1释放b的S锁，从而导致死锁产生。那么在oracle模式下，该用例却不能产生死锁。因为在GBase模式下，开启事务后，可以保证两个会话在执行更新后才提交保证两个会话同时进行。而在oracle模式下，只能开启多语句模式，DML语句会自动开启事务，通过commit/rollback结束事务，DDL会提交事务。从而导致两个会话可能无法同时进行，因此并行变成串行，导致死锁无法产生。写在最后南大通用GBase 8s数据库的事务处理能力和并发控制机制，为企业提供了一个可靠、高效和安全的数据处理平台。无论是金融交易还是在线事务处理，GBase 8s都能确保数据的完整性和一致性，满足企业对数据库系统的要求。

南大通用GBase 8s数据库的封锁与并发事务调度（二）

本文探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。事务的概念及ACID特性事务（Transaction）将用户在数据库中的某些操作集合看作一个整体，在其有序执行的过程中不被其他操作影响，这样的操作集合就是事务。事务（Transaction）是对数据库进行操作的集合。该集合是一个不可分割的具有逻辑功能的工作单元，集合中的操作在事务的一次执行中必须全部被执行或者全部。事务的特性（ACID 特性）Atomicity: 原子性构成该事务的操作集合中的全部操作在事务的运行过程中全部执行或者全部不执行。Consistency: 一致性事务运行的结果应该使数据库保持数据一致性。Isolation:隔离性构成某个事务的全部操作与其他事务或操作是隔离的，同时执行的事务之间不能够互相影响，一个事务单独运行的结果应该与该事务和其他多个事务同时运行的结果一致。Durability: 持久性事务的持久性是指事务运行完毕并成功提交后，其对数据库全部操作的结果应该永久地保留在数据库中。并发事务的调度1、并发问题和并发操作实际应用中，通常会有来自不同用户的多个事务并发执行，事务之间会有交叉，这个问题就是事务的并发问题。并发事务之间相互影响，会破坏相关事务的正常运行，无法保证事务的 ACID 特性，产生数据错误。并发操作（Simultaneous Concurrency）是并发事务中包含的对数据库的操作，由多个事务并发进行而产生，其最大问题是容易导致数据库的不一致性举例说明两个售票点同时售出同一天同一车次的车票，第一个售票点执行的数据库事务 T1 为：（1）读出当前车票的剩余数量 A，假设 A=50；（2）售出一张票，剩余数量变为 A=A-1，即 A=49。第二个售票点执行的数据库事务 T2 为：（1）读出当前车票的剩余数量 A，假设 A=50；（2）售出一张票，剩余数量变为 A=A-1，即 A=49。事务 T1 和 T2 按照如下顺序并发执行：（1）读出当前车票的剩余数量 A，假设 A=50；（2）读出当前车票的剩余数量 A，假设 A=50；（3）售出一张票，剩余数量变为 A=A-1，即 A=49；（4）售出一张票，剩余数量变为 A=A-1，即 A=49。事务执行的结果是只卖了一张车票，而实际上售出了两张，这样就可能导致同一个座位售出两张车票，数据库出现了数据的不一致性错误。并发操作导致数据库出现数据不一致性的问题，如下表所示。事务 T1 将数据对象，即火车票的总数 A 进行了修改，变为 49，而事务 T2 在 T1 修改 A 之前读取的 A 的值仍然是 50，T2 将此值修改为 49 后写回数据库并覆盖了 T1 事务对 A 的修改，此时，A 的值为49，就会出现这种情况：卖出两张车票后车票总数应为 48，而数据库中车票的总数为 49，显然出现了数据的不一致性错误。<img src="https://g1.cdn.gbase.cn/Uploads/Xu3j8g7MUG_RjnVow5eV_/b6d4cbaa82124f73bb0dc3b09647b000.jpeg">2、调度调度（Schedule）是指事务的执行次序。如果多个事务依次执行，则称为事务的串行调度（Serial Schedule）。如果多个事务同时执行，则称为事务的并发调度（Concurrent Schedule）3、冲突冲突（conflict）：事务调度中的两个操作（读操作或写操作），如果交换顺序执行，它们所属的事务运行结果会改变，那么这两个操作就被称为冲突。不同事务对于不同数据对象进行操作（无论是读操作还是写操作）不会产生冲突；不同事务对同一数据对象进行读操作也不会产生冲突。4、封锁并发控制的主要技术是封锁（Locking）。封锁的对象是数据库中的数据对象，如关系型数据库中的表、记录、属性、索引等。对数据对象加锁的时机是在事务对其进行操作之前，向系统发出加锁请求。加锁后事务 T就取得了对该数据对象的控制，在事务 T 释放它的锁之前，其他事务不能对此数据对象进行任何操作。封锁是一种排队机制，将并行任务按锁的先后顺序排队，把并行任务变成串行任务。

南大通用GBase 8s数据库的封锁与并发事务调度（一）

本文将分三章（第三章），对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。kafka数据集成GBase 8a集群支持使用kafka集群作为数据源进行数据加载和导出，kafka数据源加载任务的相关信息可以在gclusterdb系统库中表topicname_dbname_tbname里查看。加载kafka集群中的文本数据SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/xB2xPs2mnt8-B0vhlTE7s/1.jpeg">导出文本数据到kafka集群SQL如下：<img src="https://g1.cdn.gbase.cn/Uploads/0zUYW6BiYw-hxyKauOZBC/2.jpeg">Kafka broker高可用GBase 8a支持配置Kafka的broker高可用，支持一套带kerberos认证功能的kafka集群作为加载数据源：1、在gcluster配置文件中添加参数：gcluster_kafka_brokers 192.168.146.20:9092,192.168.146.21:9092’2、重启gcluster服务使其起效：gcluster_services all startKafka流式加载GBase 8a通过脚本实现Kafka流式加载，如：<img src="https://g1.cdn.gbase.cn/Uploads/WiQe6OxDgfhIc4E0wP9uS/3.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（三）

负载均衡配置GBase 8a支持负载均衡，根据任务数自动优选加载节点，提供以下参数配置加载任务负载均衡，提升加载性能：gcluster_loader_max_data_processors说明：集群中加载节点的数量，同加载SQL参数MAX_DATA_PROCESSORS。取值范围：1-300默认值：16调优值：建议4-6。gcluster_load_rebalance_seed说明：加载任务负载均衡控制，集群中加载节点的选择方式可通过此参数微调。默认值：5。调优值：加载任务随机选择执行任务数最少的几个data节点作为数据加载节点。在加载并发较多场景下，可以适当增加该值，从而增加满足加载机条件的data节点个数。示例：在12个data节点集群中，MAX_DATA_PROCESSORS=4的情况下，一次加载任务会随机选择不超过四个data节点作为加载机。如果gcluster_load_rebalance_seed值为5，集群中所有data节点的最小任务数为20，则所有任务数&lt;=25的data节点都可供本次加载任务随机选择为加载节点；但是&lt;=25的节点个数不足四个时，则使用满足该要求的几个节点作为加载机，因此可以调大rebalance_seed参数值来扩大可选加载机的范围，但通常不超过10。加载状态监控GBase 8a提供查看加载状态和加载结果的系统表与日志，支持加载过程监控、结果查询、错误数据溯源。加载状态信息查看：加载任务启动后，可通过SQL方式查看本次加载任务的状态信息。状态信息表information_schema.load_status中记录正在运行的所有加载任务的状态信息。加载结果：加载任务的结果信息存储在load_result.log文件中，可以通过information_schema.load_result系统视图查看。LOAD_RESULT表：记录当前 coordinator 节点的加载信息。CLUSTER_LOAD_RESULT表：记录所有 coordinator 节点的加载信息。注意：information_schema库的表查询都会占用内存，load_result表会话之间不共享，并发查询时每个会话会读取一份，load_result到自己的session内存中。加载设计过程中及运维过程中需合理使用information_schema库表的查询，及时清理废弃日志。加载接口开发GBase 8a集群通过gccli工具、jdbc/.net开发接口执行SQL语句加载数据，提供的开发接口包括：1、jdbc接口executeUpdate(loadSql) -- 执行加载语句stmt.getSkippedLines() -- 获取跳过错误数据行数stmt.getLoadTaskID() -- 获取加载任务id2、ado.net接口cmd.ExecuteNonQuery() -- 执行时间加载SQLcmd.RecordsSkipped -- 跳过错误数据行数cmd.RecordsTaskID -- 加载任务ID3、ODBC接口提供SQLROWCOUNT(hstmt,&amp;rowCount)获取加载成功行数SQLGetStmtAttr()中的SQL_RES_GBASE_LOAD_TASK_ID获取任务IDSQL_RES_LOAD_TASK_SKIPPED_LINES获取忽略行数4、Python API接口提供getInfo接口可获取成功行数、忽略行数、任务ID三个信息其它加载问题数据加载文件的读写一致性在使用freeNas等软件搭建数据文件服务器时，建议使用同一种文件访问接口，避免对同一个数据文件同时使用NFS接口、FTP接口， 容易出现文件读写不一致问题。加载SQL参数[MAX_BAD_RECORDS number]说明：用于设定错误数据的行数上限。取值范围：0~ 4294967295，0表示只要有错误数据就报错退出，加载任务自动回滚。调优值：所有集群节点独立计算加载错误数量，一旦有一个节点加载时错误数据达到本限制，则终止所有节点的加载任务。集群加载提交之前检查总错误条数是否超出限制，如果超出限制，放弃提交，报错退出。大量小文件加载优化（862.33R39、953版本及以上）一般小于10M的文件为小文件，大于1G的文件为大文件。相同数据量，文件个数越多，提升越多；同样大小的文件，文件个数越多，提升越多；相同数据源复用网络连接；集群层，相同目录文件转化成文件通配方式批量获取文件大小，不同目录文件复用网络连接。

南大通用GBase 8a数据库数据加载功能及调优（二）

本文将分三章，对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明，提供加载性能参数调优方案和kafka数据源的加载导出方案，为用户了解和使用GBase 8a加载功能提供参考。功能特性GBase 8a集群加载支持本地文件、ftp/sftp、http/https、hdfs、kafka、S3等常用数据源；支持使用平文本、avro/orc(未release)文件格式进行加载；支持使用压缩格式gzip、snnapy、lzo进行加载；支持普通文本、定长、宽松加载模式；支持kerberos认证，多namenode高可用；支持多表、单表并行加载，多数据源并行加载；支持多点传输，多节点并行数据解析，单节点多线程并行。架构及原理GBase 8a加载功能架构图如下：<img src="https://g1.cdn.gbase.cn/Uploads/KROr8xPImhJ8N4j-zVbo0/1.jpeg">1：数据加载SQL下发，gcluster接收SQL任务。2：gcluster解析URL生成具体的源数据文件列表；gcluster按gnode加载节点数量均分源数据文件。如15G数据文件均分3个加载节点时，gcluster进行数据切分，每个加载节点5G加载任务；完成数据切分后，gcluster给gnode加载节点下发加载SQL任务。3：gnode接收加载SQL任务后，去文件服务器上读取指定数据；gnode对读取到的加载数据进行解析；将合法数据按表和hash列分配归入对应表分片的DC中；gnode将DC压缩文件转发到对应的主分片节点上；主分片gnode节点将收到的DC文件组装好后实时转发到副本节点上。加载性能调优及相关参数加载性能调优GBase 8a采用多点传输技术，集群中的每个节点均参与数据的解析和加载，且加载性能可以随着集群节点数的增加线性扩展，通过加载性能调优，仅使用8台服务器即达到33TB/小时的加载速度。加载性能相关参数gcluster_loader_max_data_processors说明：单个加载任务并行加载机的个数默认值：16调优值：在加载并发较高、集群节点较多场景下推荐配置为4~8gbase_loader_parallel_degree说明：data节点执行单个加载任务的并行度默认值：0，使用CPU核数一半，当设置值大于线程池数量时，则使用线程池数量。调优值：配置为4~6。可以通过set方式设置，也可以使用PARALLEL在加载语句中指定。_gbase_dc_sync_size说明：数据文件磁盘落地大小默认值：1TB调优值：当存在data节点磁盘IO繁忙、加载性能缓慢、CPU资源利用低时，可调小该参数，推荐10Mgbase_parallel_max_thread_in_pool说明：线程池中的线程总数，用于配置线程池大小。默认值：CPU核数的2倍调优值：在每个服务器上部署1个gnode节点的情况下推荐该配置为CPU核数的4~8倍。gcluster_enable_serial_load、gcluster_serial_exec_query说明：限制任务并发数，调优值：开启gcluster_enable_serial_load参数后，每个gcluster节点可以下发gcluster_serial_exec_query个SQL任务（select、insert select、load等），主要控制并发时，下发到gnode的SQL数量，超过后排队。gbase_loader_max_line_length说明：超长行大小默认值：4M调优值：当数据文件中存在超过4M大小的行时，加载任务会报错中断，增加该值可以跳过该行继续加载，超过4M的数据保存在errdata中gbase_loader_read_timeout说明：数据文件读取超时，读取ftp/http/sftp文件超时的时间设置默认值：300秒，0无限制。调优值：当集群负载较高、数据源IO或网络较差时，调大该参数可避免数据源读取超时报错数据源服务器参数如ftp/sftp并发访问数、端口数等，具体问题具体分析数据源并发数评估集群最大并发加载任务数为N，单加载任务最大加载机数（max_data_processors）为M时，数据源推荐的并发数不低于M*N。分块加载分块加载原理：gcluster文件切分是用URL表示的多个逻辑块，交由多个data节点并行加载，文件服务器并不实际进行文件切分。加载按行处理，data节点对分配给自己的逻辑块数据逐行进行加载，排除开头属于前一个节点的数据（第一个换行符前），以及读取结尾完整的数据行（直到下一节点的第一个换行符为止）。加载数据量：一次加载支持读取和处理的数据量大小与以下参数相关：gbase_loader_buffer_count说明：加载使用内存块数。data节点内部维护一个内存链表。默认值：16gbase_loader_line_length说明：各内存块大小。data节点从数据源一次性读取4M大小的数据内容放到内存链表中进行后续处理。默认值：4M分块加载使用场景：对于不同使用场景，可灵活调整分块加载配置：对于加载节点少，加载任务的数据总量大的使用场景，gcluster将一次加载任务中的数据总量按加载节点数均分给各个加载节点并行执行，能大幅提升加载性能。对于加载节点多，加载任务的数据总量小，避免对数据切块粒度太小降低加载性能，可通过以下参数调优：gcluster_loader_min_chunk_size说明：设置大文件切块的最小粒度，范围4M—128M，作用同加载SQL参数MIN_CHUNK_SIZE。默认值：64M，即小于128M的文件不进行切分。以下使用场景执行加载时不会对数据文件进行切分：1. 加载语句带参数NOSPLIT会关闭分块并行；；2. 加载语句有having lines separator或者format 5；3. 加载的文件是.gz或者.snappy压缩文件，建议打包小文件。关闭分块并行功能后，每个data节点处理1个文件，如下图示。<img src="https://g1.cdn.gbase.cn/Uploads/Ljv5secTTBvs7zXLO4kJp/2.jpeg">

南大通用GBase 8a数据库数据加载功能及调优（一）

在数据驱动的世界中，SQL（结构化查询语言）是每个数据分析师、数据科学家和开发人员的必备技能。无论你是初学者还是资深人士，掌握SQL的各种功能和技巧都能极大地提高你的工作效率。今天，我们来探讨GBase 8s数据库中的窗口函数（Window Functions），着重说说Window Frame子句，看看它是如何帮助我们更高效地处理和分析数据的。窗口函数是 SQL 标准中引入的一种的工具，它允许我们在查询中对一组行（称为窗口）进行计算，而不会像传统聚合函数那样丢失行的细节。通过窗口函数，我们可以在保持数据行完整性的同时，进行复杂的计算，如累计和、移动平均、排名等。而 Window Frame 子句则是窗口函数中的一个重要组成部分，它定义了窗口的范围，即哪些行将被包含在计算中。通过灵活地定义窗口范围，我们可以实现各种复杂的数据分析需求。&nbsp;Window Frame子句概述Window Frame子句返回每一Window分区中的行的子集，Frame子句指定由特定数目的行或值的范围来指定如何定义这个子集。框架是相对于当前行确定的，这使得框架可以根据当前行在分区中的位置在分区中移动。例如：(1) 通过将一个框架定义为从分区开始到当前行的所有行，可以计算截至当前行的累积和；(2) 通过将框架定义为在当前行的任意一侧扩展N行，可以计算滚动平均。语法<img src="https://g1.cdn.gbase.cn/Uploads/zu7yRppW5ZXz2McijVp_y/1.png">关键字介绍在 Window Frame 子句中，有以下几个关键字，它们共同定义了窗口的范围：<img src="https://g1.cdn.gbase.cn/Uploads/ka8v5XX604dQ1IcKt3nja/2.png">&nbsp;基于行(ROWS)的Window FrameROWS&nbsp;关键字创建基于行的 window frame，框架由开始行和结束行的位置来定义，该偏移量表示要返回的行的数目。示例1：返回当前行以及之前的6行。<img src="https://g1.cdn.gbase.cn/Uploads/6rRE_Ap2Fs1jKSAmr1RjI/3.png">示例2：需求：按照员工部门分区按照薪资排序返回员工，每一分区内，对该员工与之前的员工薪资求平均值。<img src="https://g1.cdn.gbase.cn/Uploads/Zq-c-qNLOa2OrJBKAtbKz/4.png">&nbsp;基于值(RANGE)的window frameRANGE 关键字创建基于值的 frame 子句，框架由某个值范围内的行定义，偏移量是行值与当前行值之间的差异。由当前行与满足标准的行组成，通过 ORDER 子句中的排序键设置该标准并符合指定的偏移量。偏移量表示排序键的数据类型的单位数目。排序键必须为数值的、DATE 或 DATETIME 数据类型。例如，如果排序键为 DATE 数据类型，则偏移量表示特定的天数。示例1：返回日期在在当前行的两天之内的 行以及当前行的总数。<img src="https://g1.cdn.gbase.cn/Uploads/Jw9O_03sjh6Vl6Cu94C6E/5.png">示例2：需求查询按照部门分区并按照年龄排序，返回员工信息。在每一个分区，对每一个运动员以及年龄相差5岁的员工薪资求平均值。<img src="https://g1.cdn.gbase.cn/Uploads/rFPW0k-pAf6p0jWqCPh0w/6.png">注：以上所用示例使用的数据库版本为:GBase8sV8.8_TL_3.6.1_x86_64通过以上介绍，我们可以看到，GBase 8s 中的窗口函数和 Window Frame 子句为我们提供的数据分析能力，无论是基于行的精确控制，还是基于值的灵活处理，窗口函数都能帮助我们快速实现复杂的计算需求。在实际应用中，我们可以根据具体需求选择合适的窗口类型和范围，从而更高效地处理和分析数据。希望本文能够帮助大家更好地理解和应用窗口函数，解锁数据分析的新视角。 &nbsp;

告别繁琐计算 GBase 8s窗口函数轻松解锁高效数据分析

信息化时代，数据库的稳定性与性能对企业用户至关重要。GBase 8s是一款高性能的企业级数据库产品，是首批通过中国信息安全测评中心安全可靠测评的集中式数据库，安全等级与安全资质居行业前列，具备高可用性、高安全性、弹性伸缩、高并发、高性能等特性，在金融、电信、党政、能源、交通等行业有着广泛的应用，其配置和架构的选择直接关系到业务系统的运行效率。本文将为您详细介绍GBase 8s的推荐硬件配置与高可用架构，助您打造一个高效稳定的数据库环境。在构建数据库环境之前，应先对数据库需求有一定的了解，主要涵盖以下几个方面：Ø&nbsp;业务规模：根据企业业务规模的大小，评估数据库的并发访问量、数据存储量和处理能力需求。Ø&nbsp;业务类型：分析企业业务类型，如事务处理、数据分析等，以确定数据库选型及高可用需求。Ø&nbsp;容灾要求：了解企业对数据安全和业务连续性的要求，如是否需要跨地域容灾。GBase 8s推荐配置<img src="https://g1.cdn.gbase.cn/Uploads/6Z6ujzUh_arz-kLbo6u-i/1.png">GBase 8s具备完善的高可用能力，如下表所示：<img src="https://g1.cdn.gbase.cn/Uploads/ozPum1z2iMDXz7B3eI57r/2.png">高可用架构推荐针对不同的业务场景，我们可以选择GBase 8s不同的高可用方案，同时高可用方案还可灵活组合，形成更加复杂的高可用场景，以满足业务高可用及业务连续性要求，以下列出了常见业务场景推荐的高可用架构选择：<img src="https://g1.cdn.gbase.cn/Uploads/g9g_-OMLX210PpRvTqOiw/3.png">GBase 8s高可用架构单节点配置参考上述推荐配置，以下主要来列举以下除节点外的一些推荐配置要求：<img src="https://g1.cdn.gbase.cn/Uploads/pD6Evb4AdMxTO0cWeefVZ/4.png">希望以上内容能够帮助您更好地理解和应用GBase 8s。在选择合适的硬件配置和高可用架构时，请根据实际业务需求进行考量，以确保数据库系统的最佳性能和稳定性。如有任何疑问，欢迎大家访问GBASE技术社区（www.gbase.cn），与更多DBA交流、探讨GBASE数据库的技术实践。 &nbsp;