在数据驱动的世界中，SQL（结构化查询语言）是每个数据分析师、数据科学家和开发人员的必备技能。无论你是初学者还是资深人士，掌握SQL的各种功能和技巧都能极大地提高你的工作效率。今天，我们来探讨GBase 8s数据库中的窗口函数（Window Functions），着重说说Window Frame子句，看看它是如何帮助我们更高效地处理和分析数据的。窗口函数是 SQL 标准中引入的一种的工具，它允许我们在查询中对一组行（称为窗口）进行计算，而不会像传统聚合函数那样丢失行的细节。通过窗口函数，我们可以在保持数据行完整性的同时，进行复杂的计算，如累计和、移动平均、排名等。而 Window Frame 子句则是窗口函数中的一个重要组成部分，它定义了窗口的范围，即哪些行将被包含在计算中。通过灵活地定义窗口范围，我们可以实现各种复杂的数据分析需求。&nbsp;Window Frame子句概述Window Frame子句返回每一Window分区中的行的子集，Frame子句指定由特定数目的行或值的范围来指定如何定义这个子集。框架是相对于当前行确定的，这使得框架可以根据当前行在分区中的位置在分区中移动。例如：(1) 通过将一个框架定义为从分区开始到当前行的所有行，可以计算截至当前行的累积和；(2) 通过将框架定义为在当前行的任意一侧扩展N行，可以计算滚动平均。语法<img src="https://g1.cdn.gbase.cn/Uploads/zu7yRppW5ZXz2McijVp_y/1.png">关键字介绍在 Window Frame 子句中，有以下几个关键字，它们共同定义了窗口的范围：<img src="https://g1.cdn.gbase.cn/Uploads/ka8v5XX604dQ1IcKt3nja/2.png">&nbsp;基于行(ROWS)的Window FrameROWS&nbsp;关键字创建基于行的 window frame，框架由开始行和结束行的位置来定义，该偏移量表示要返回的行的数目。示例1：返回当前行以及之前的6行。<img src="https://g1.cdn.gbase.cn/Uploads/6rRE_Ap2Fs1jKSAmr1RjI/3.png">示例2：需求：按照员工部门分区按照薪资排序返回员工，每一分区内，对该员工与之前的员工薪资求平均值。<img src="https://g1.cdn.gbase.cn/Uploads/Zq-c-qNLOa2OrJBKAtbKz/4.png">&nbsp;基于值(RANGE)的window frameRANGE 关键字创建基于值的 frame 子句，框架由某个值范围内的行定义，偏移量是行值与当前行值之间的差异。由当前行与满足标准的行组成，通过 ORDER 子句中的排序键设置该标准并符合指定的偏移量。偏移量表示排序键的数据类型的单位数目。排序键必须为数值的、DATE 或 DATETIME 数据类型。例如，如果排序键为 DATE 数据类型，则偏移量表示特定的天数。示例1：返回日期在在当前行的两天之内的 行以及当前行的总数。<img src="https://g1.cdn.gbase.cn/Uploads/Jw9O_03sjh6Vl6Cu94C6E/5.png">示例2：需求查询按照部门分区并按照年龄排序，返回员工信息。在每一个分区，对每一个运动员以及年龄相差5岁的员工薪资求平均值。<img src="https://g1.cdn.gbase.cn/Uploads/rFPW0k-pAf6p0jWqCPh0w/6.png">注：以上所用示例使用的数据库版本为:GBase8sV8.8_TL_3.6.1_x86_64通过以上介绍，我们可以看到，GBase 8s 中的窗口函数和 Window Frame 子句为我们提供的数据分析能力，无论是基于行的精确控制，还是基于值的灵活处理，窗口函数都能帮助我们快速实现复杂的计算需求。在实际应用中，我们可以根据具体需求选择合适的窗口类型和范围，从而更高效地处理和分析数据。希望本文能够帮助大家更好地理解和应用窗口函数，解锁数据分析的新视角。 &nbsp;

告别繁琐计算 GBase 8s窗口函数轻松解锁高效数据分析

信息化时代，数据库的稳定性与性能对企业用户至关重要。GBase 8s是一款高性能的企业级数据库产品，是首批通过中国信息安全测评中心安全可靠测评的集中式数据库，安全等级与安全资质居行业前列，具备高可用性、高安全性、弹性伸缩、高并发、高性能等特性，在金融、电信、党政、能源、交通等行业有着广泛的应用，其配置和架构的选择直接关系到业务系统的运行效率。本文将为您详细介绍GBase 8s的推荐硬件配置与高可用架构，助您打造一个高效稳定的数据库环境。在构建数据库环境之前，应先对数据库需求有一定的了解，主要涵盖以下几个方面：Ø&nbsp;业务规模：根据企业业务规模的大小，评估数据库的并发访问量、数据存储量和处理能力需求。Ø&nbsp;业务类型：分析企业业务类型，如事务处理、数据分析等，以确定数据库选型及高可用需求。Ø&nbsp;容灾要求：了解企业对数据安全和业务连续性的要求，如是否需要跨地域容灾。GBase 8s推荐配置<img src="https://g1.cdn.gbase.cn/Uploads/6Z6ujzUh_arz-kLbo6u-i/1.png">GBase 8s具备完善的高可用能力，如下表所示：<img src="https://g1.cdn.gbase.cn/Uploads/ozPum1z2iMDXz7B3eI57r/2.png">高可用架构推荐针对不同的业务场景，我们可以选择GBase 8s不同的高可用方案，同时高可用方案还可灵活组合，形成更加复杂的高可用场景，以满足业务高可用及业务连续性要求，以下列出了常见业务场景推荐的高可用架构选择：<img src="https://g1.cdn.gbase.cn/Uploads/g9g_-OMLX210PpRvTqOiw/3.png">GBase 8s高可用架构单节点配置参考上述推荐配置，以下主要来列举以下除节点外的一些推荐配置要求：<img src="https://g1.cdn.gbase.cn/Uploads/pD6Evb4AdMxTO0cWeefVZ/4.png">希望以上内容能够帮助您更好地理解和应用GBase 8s。在选择合适的硬件配置和高可用架构时，请根据实际业务需求进行考量，以确保数据库系统的最佳性能和稳定性。如有任何疑问，欢迎大家访问GBASE技术社区（www.gbase.cn），与更多DBA交流、探讨GBASE数据库的技术实践。 &nbsp;

一文读懂如何构建GBase 8s高效稳定的数据库环境

数据驱动时代，一款优秀的商用数据库需要具备卓越的性能和稳定性，更需要配备一套全面、高效、易用的工具生态体系来支撑日常管理和运维。GBASE南大通用构筑了全栈的数据库产品体系，同时旗下不同类型的数据库产品提供面向多种应用场景的生态工具，降低数据库使用门槛，提升整体工作效率。GBase数据库产品的工具大家族都包括哪些成员，让我们一起了解下：<img src="https://g1.cdn.gbase.cn/Uploads/3wRSYHeBVeVymN7PAcsdo/1.jpg">GBase数据库工具大家族GDOM运维管理平台GBase 8a MPP Database Operation Manager(简称GDOM)是南大通用自主研发的GBase 8a MPP Cluster企业级运维管理平台。GDOM能够对GBase 8a MPP Cluster进行可视化监控，提供全生命周期的运维保障，支持集群管理、主机管理、健康检查、告警等功能，能够降低用户运维成本，提高运维效率，实时保障数据库集群7*24小时的平稳运行。<a href="https://www.gbase.cn/news/3621">(点击查看更多详细内容)</a>GDS管理工具GBase Data Studio(简称GDS)是南大通用研发的一款面向GBase 8a数据库单机版、集群版以及统一数据平台，集访问、控制、管理功能于一体的图形化管理工具。GDS将多样化的图形化工具与功能齐全的脚本编辑器组合在一起，可为数据库开发者和管理员提供数据库访问、管理与开发服务。<a href="https://www.gbase.cn/news/3627">(点击查看更多详细内容)</a>GVR可视化集群双活同步工具GBase Visio Rsynctool(简称GVR)是GBASE南大通用自主研发的、适用于GBase 8a MPP Cluster的可视化集群双活同步工具。GVR具有高灵活度、高性能、高可用、易使用等技术特点，可以帮助用户快速搭建双活集群并进行高效地数据同步。<a href="https://www.gbase.cn/news/3614">(点击查看更多详细内容)</a>GEM集中式管理平台GBase Enterprise Manager(GEM)，提供一个通过Web界面来安装、监控、管理GBase8s数据库的集中式管理平台。数据库管理员可通过任意Web应用登录GEM，从而对 GBase 8s数据库进行管理和监控。<a href="https://www.gbase.cn/news/3611">(点击查看更多详细内容)</a>MTK迁移工具GBase Migration Toolkit(简称MTK)是南大通用GBase 8s数据库配备的一款可实现异构数据库数据迁移的图形化工具，其采用C/S架构，能够将源数据库中的数据迁移至GBase 8s数据库中，目前支持国内外主流的数据库产品。MTK采用简单易操作的图形化界面，用户可根据数据迁移需求创建任务，支持迁移任务的个性化设置，实现多线程并发数据迁移。<a href="https://www.gbase.cn/news/3619">(点击查看更多详细内容)</a>运维平台GBase 8c运维平台是一款基于南大通用GBase 8c自主研发的数据库运维管理工具，以可视化界面形式为GBase 8c使用者提供资源配置、多租户资源隔离、数据库集群管理等功能，快速实现DBA运维操作，支持系统部署、运维监控、告警管理、备份恢复、扩容缩容、灰度发布、性能分析、日志审计等特性。<a href="https://www.gbase.cn/news/3606">(点击查看更多详细内容)</a>DMT可视化迁移同步工具GBase DMT是南大通用GBase 8c数据库配套的迁移和同步工具，能为用户提供Oracle、MySQL、PostgreSQL等源数据库到GBase8c的一站式迁移服务，支持异构库到GBase8c之间的实时双向同步功能，具有预检查、修改类型映射、数据校验、迁移报告等特性。<a href="https://www.gbase.cn/news/3616">(点击查看更多详细内容)</a>GBase数据库的工具体系功能全面且操作简便、易于上手，无论是技术小白还是经验丰富的数据库管理员，都能够轻松驾驭，实现高效的数据管理。未来，GBASE南大通用将为更多企业与开发者带来更加智能、便捷的数据管理体验。

一文打尽！GBase数据库工具大家族集体亮相

数据库高可用能力，是数据库能否承载核心业务的关键能力之一。在众多的高可用架构中，基于共享存储的高可用架构是最为常见、也是被广泛使用的架构。GBase 8s共享存储高可用集群SSC，采用共享磁盘方式实现节点高可用，数据仅存储一份，能够有效利用硬件资源，避免数据重复存储问题，是GBase 8s高可用技术栈的一项重要能力。我们注意到社区的很多小伙伴们都在反馈希望寻找一种简便的方法来验证GBase 8s共享存储集群的功能。本文将为大家提供共享存储集群SSC的搭建指南并帮助大家快递便捷地进行功能验证，接下来让我们一起探索如何在单机环境中快速部署SSC共享存储集群。准备工作<ul><li>准备数据库安装包</li></ul>从GBase官网获取即可根据需要的架构自行下载，网址如下:<a href="https://www.gbase.cn/download/gbase-8s-1?category=INSTALL_PACKAGE">https://www.gbase.cn/download/gbase-8s-1?category=INSTALL_PACKAGE</a><ul><li>准备测试机（虚拟机和实体机器均可）</li></ul>&nbsp;操作步骤<ul><li>安装数据库</li></ul>使用非实例化安装（执行ids_install后选择不创建实例）或静默安装均可。注意：静默安装之前需要将gbasedbt用户提前创建好，推荐命令如下：<img src="https://g1.cdn.gbase.cn/Uploads/bnTSKjdDgRbaAmmZtRwEO/1.png"><ul><li>创建环境变量文件</li></ul>准备两个环境变量文件。我们假设数据库实例1的实例名为Server1，实例2的实例名为Server2，配置文件内容如下：实例1：<img src="https://g1.cdn.gbase.cn/Uploads/enRCA3BCObuZ_QKK_R1m-/2.png">实例2：<img src="https://g1.cdn.gbase.cn/Uploads/1kzmmAshPezMFSFpvFkiU/3.png"><ul><li>准备实例1和实例2的数据存储目录和rootdbs文件</li></ul><img src="https://g1.cdn.gbase.cn/Uploads/TJWTbxM26kTEjv-IPVuDd/4.png"><ul><li>修改sqlhost</li></ul><img src="https://g1.cdn.gbase.cn/Uploads/2URH6dHhwnCcVYRGLBhuf/5.png">server2&nbsp;的sqlhosts与server1一致即可<img src="https://g1.cdn.gbase.cn/Uploads/vo0GT24h9LeNuX20-80B5/6.png"><ul><li>onconfig设置</li></ul><img src="https://g1.cdn.gbase.cn/Uploads/4pntwRkBJcWbQ42NLeQQL/7.png"><ul><li>搭建sds集群</li></ul>主节点执行命令如下：<img src="https://g1.cdn.gbase.cn/Uploads/eWh1m_7l6LEplCj7Yh-FQ/8.png">从节点执行命令如下:<img src="https://g1.cdn.gbase.cn/Uploads/W8R3fgWvYoUZVWmcSyp1o/9.png"><ul><li>集群检查</li></ul><img src="https://g1.cdn.gbase.cn/Uploads/cGo11I_v05f1ia0cMUK__/10.png">按照上述步骤，我们就成功搭建了一个SSC共享存储集群。GBase 8s 提供强大的高可用集群整体解决方案，除 SSC共享存储集群外，还支持HAC、远程 HAC 集群、 SSC+HAC 构建同城双活高可用架构方案、SSC+HAC+远程 HAC 异地灾备技术构建两地三中心高可用架构方案，以及支持实时同步的 ER 集群解决方案。我们将在后续的系列内容中继续向大家分享、介绍GBase 8s的高可用架构，希望本篇文章能为您更好地理解和运用共享存储集群技术提供帮助。&nbsp;&nbsp;

南大通用GBase 8s高可用架构之快速搭建SSC共享存储集群

本文探讨南大通用GBase 8s数据库的事务处理特性，揭示其如何确保ACID特性，并有效管理并发事务。事务的概念及ACID特性事务（Transaction）将用户在数据库中的某些操作集合看作一个整体，在其有序执行的过程中不被其他操作影响，这样的操作集合就是事务。事务（Transaction）是对数据库进行操作的集合。该集合是一个不可分割的具有逻辑功能的工作单元，集合中的操作在事务的一次执行中必须全部被执行或者全部。事务的特性（ACID&nbsp;特性）<ul><li>Atomicity:&nbsp;原子性</li></ul>构成该事务的操作集合中的全部操作在事务的运行过程中全部执行或者全部不执行。<ul><li>Consistency:&nbsp;一致性</li></ul>事务运行的结果应该使数据库保持数据一致性。<ul><li>Isolation:隔离性</li></ul>构成某个事务的全部操作与其他事务或操作是隔离的，同时执行的事务之间不能够互相影响，一个事务单独运行的结果应该与该事务和其他多个事务同时运行的结果一致。<ul><li>Durability:&nbsp;持久性</li></ul>事务的持久性是指事务运行完毕并成功提交后，其对数据库全部操作的结果应该永久地保留在数据库中。并发事务的调度1、并发问题和并发操作实际应用中，通常会有来自不同用户的多个事务并发执行，事务之间会有交叉，这个问题就是事务的并发问题。并发事务之间相互影响，会破坏相关事务的正常运行，无法保证事务的 ACID 特性，产生数据错误。并发操作（Simultaneous Concurrency）是并发事务中包含的对数据库的操作，由多个事务并发进行而产生，其最大问题是容易导致数据库的不一致性举例说明两个售票点同时售出同一天同一车次的车票，第一个售票点执行的数据库事务 T1 为： （1）读出当前车票的剩余数量 A，假设 A=50； （2）售出一张票，剩余数量变为 A=A-1，即 A=49。第二个售票点执行的数据库事务 T2 为： （1）读出当前车票的剩余数量 A，假设 A=50； （2）售出一张票，剩余数量变为 A=A-1，即 A=49。事务 T1 和 T2 按照如下顺序并发执行： （1）读出当前车票的剩余数量 A，假设 A=50； （2）读出当前车票的剩余数量 A，假设 A=50； （3）售出一张票，剩余数量变为 A=A-1，即 A=49； （4）售出一张票，剩余数量变为 A=A-1，即 A=49。事务执行的结果是只卖了一张车票，而实际上售出了两张，这样就可能导致同一个座位售出两张车票，数据库出现了数据的不一致性错误。并发操作导致数据库出现数据不一致性的问题，如下表所示。事务 T1 将数据对象，即火车票的总数 A 进行了修改，变为 49，而事务 T2 在 T1 修改 A 之前读取的 A 的值仍然是 50，T2 将此值修改为 49 后写回数据库并覆盖了 T1 事务对 A 的修改，此时，A 的值为49，就会出现这种情况：卖出两张车票后车票总数应为 48，而数据库中车票的总数为 49，显然出现了数据的不一致性错误。<img src="https://cdn.gbase.cn/Uploads/6O69hEjbxkZ0KeSCijcx3/1.png">2、调度调度（Schedule）是指事务的执行次序。如果多个事务依次执行，则称为事务的串行调度（Serial Schedule）。如果多个事务同时执行，则称为事务的并发调度（Concurrent Schedule）3、冲突冲突（conflict）：事务调度中的两个操作（读操作或写操作），如果交换顺序执行，它们所属的事务运行结果会改变，那么这两个操作就被称为冲突。不同事务对于不同数据对象进行操作（无论是读操作还是写操作）不会产生冲突；不同事务对同一数据对象进行读操作也不会产生冲突。4、封锁并发控制的主要技术是封锁（Locking）。封锁的对象是数据库中的数据对象，如关系型数据库中的表、记录、属性、索引等。对数据对象加锁的时机是在事务对其进行操作之前，向系统发出加锁请求。加锁后事务 T就取得了对该数据对象的控制，在事务 T 释放它的锁之前，其他事务不能对此数据对象进行任何操作。封锁是一种排队机制，将并行任务按锁的先后顺序排队，把并行任务变成串行任务。5、封锁产生的问题封锁技术在一定程度上解决了数据库的并发事务处理过程中，并发操作给数据库带来的数据一致性问题，但同时产生了新的问题如活锁和死锁。<ul><li>活锁问题</li></ul>在处理并发事务的过程中，如果事务T1在数据对象R上加锁，事务T2又请求为数据对象R加锁，则 T2 必须等待T1释放加在R上的锁。如果事务 T3 也请求为 R加锁，当T1释放了R上的锁之后系统首先响应T3的请求，则允许T3对R加锁，此时 T2 仍需等待T3 释放加在R上的锁。然后事务T4又请求封锁R，当T3释放了R上的封锁之后系统 又响应了T4的请求……T2有可能永远等待而无法为R加锁，这就是活锁（Live lock）。活锁由于事务永远得不到封锁而导致。避免活锁可以采用先来先服务的策略。当多个事务请求封锁同一个数据对象时，可按照请求封锁的先后次序对事务排队，数据对象上的锁一旦释放就批准申请队列的第一个事务获得封锁。　<img src="https://cdn.gbase.cn/Uploads/JA32CBSJ7fGYvqpjfs2AO/2.png"><ul><li>死锁问题</li></ul>如果事务 T1 对数据对象 R1 进行封锁，T2 对数据对象 R2 进行封锁，然后 T1 又请求对 R2 进行封锁，由于 T2 已封锁了 R2，则 T1 必须等待 T2 释放 R2 上的锁。接着 T2 又申请对 R1 进行封锁，由于 T1 已封锁 R1，因此，T2 也只能等待 T1 释放 R1 上的锁。这样就出现了事务 T1 等待另一个事务 T2 释放相关数据对象上的锁，而 T2 又在等待 T1 释放相关对象上的锁，T1 和 T2 两个事务由于相互等待对方释放数据对象上的锁而永远不能继续执行，这样就出现了死锁。死锁（Dead Lock）：系统中有两个或两个以上的事务都处于等待状态，并且每个事务都在等待其中另一个事务释放封锁，这样才能继续执行下去，结果造成任何一个事务都无法继续执行，这种现象称数据库系统进入了“死锁”（Dead Lock）状态。用例简单复现死锁产生GBase模式下（会话1）：<img src="https://cdn.gbase.cn/Uploads/iJQgm81ybBvf8OzWyi_C3/3.png">那么两个会话分别在同一个库中，对a表和b表加上共享锁S，当想进行更新时，会话1在等待会话2释放a的S锁，而会话2在等待会话1释放b的S锁，从而导致死锁产生。那么在oracle模式下，该用例却不能产生死锁。因为在GBase模式下，开启事务后，可以保证两个会话在执行更新后才提交保证两个会话同时进行。而在oracle模式下，只能开启多语句模式，DML语句会自动开启事务，通过commit/rollback结束事务，DDL会提交事务。从而导致两个会话可能无法同时进行，因此并行变成串行，导致死锁无法产生。写在最后南大通用GBase 8s数据库的事务处理能力和并发控制机制，为企业提供了一个可靠、高效和安全的数据处理平台。无论是金融交易还是在线事务处理，GBase 8s都能确保数据的完整性和一致性，满足企业对数据库系统的要求。 &nbsp;

南大通用GBase 8s数据库的封锁与并发事务调度

GBase 8a是国内少数具备两地三中心容灾能力的分析型MPP数据库，通过其配备的RsyncTool同步工具可实现同城或异地集群间准实时数据同步，并已在诸多大型银行、保险等金融机构部署实施。本文旨在介绍基于可视化集群双活同步工具GVR(GBase Visual RsyncTool)的GBase 8a集群双活容灾方案，包括GVR双活容灾方案的资源需求、适用场景、GVR工具功能简介。方案说明GBASE南大通用在RsyncTool同步工具基础上推出GVR(GBase Visual RsyncTool)同步工具增强版本，实现工具配置管理、同步任务编排、同步任务监控等功能界面化操作，集群间数据同步和容灾功能的可管理、可维护和易用性大为增强，同时在增量同步性能优化和同步过程中表锁粒度降低上进行了进一步优化，一方面通过并行对比主备集群间元数据信息，将未发生数据变化的表排除在同步任务外提升同步性能，同时降低了同步过程中正在进行数据同步表主集群上的锁表粒度，从表同步过程中只读优化为元数据快照保存阶段只读，数据同步阶段支持DML操作，从而大幅降低了同步过程对业务影响。双活同步方案概要介绍GBase 8a集群双活容灾方案基于可视化数据同步工具GVR(GBase Visual RsyncTool)实现，GVR支持部署在同城或异地的两套集群间进行表粒度的增量数据同步，形成2套独立集群的数据互备双活容灾。<img src="https://cdn.gbase.cn/Uploads/1-9Iliw9yEHASQD54IaG2/1.png">双活容灾方案推荐使用一套集群作为主集群提供数据写入入口（同时可承载查询任务），另一套集群只读，作为备集群。正常状态下主集群承担业务写入任务，并通过调起同步工具以表为粒度将主集群中表内的增量数据同步至备集群，主备集群均可对外提供查询。当主集群整体故障情况下，可将业务切换至备集群，由备集群承担业务写入任务，在主集群故障恢复后通过调起同步工具以表为粒度将主备切换后发生的业务增量数据反向同步给主集群并追平数据，数据追平后业务可选择切换回主集群或主备倒换后由原备集群承担主集群业务，主集群降级为备集群。资源需求3.1 双活容灾方案主备集群规模需求1)主备集群间逻辑架构相同：双活方案要求主备集群的主分片数相同，如主集群10个gnode计算节点（多实例时为gnode实例数）每个gnode节点1个主分片，则主分片数为10；灾备集群要求主分片数与主集群相同也为10个。为保证备份集群在发生主备切换后可以提供同等的计算性能，建议备份集群采用与主集群相同规模的节点数、相同配置的服务器进行搭建。2)主备集群间数据分布规则相同：双活方案要求主备集群间数据hash分布规则相同，即集群中的gbase.nodedatamap系统表内的hash分桶规则主备集群一致。3.2 双活容灾方案主备集群规模需求1)节点间网络联通性需求：双活同步方案涉及三个组件，主集群、备集群、GVR同步工具，三个组件间的网络要求打通，即主备集群所有节点服务器（管理节点gcluster、计算节点gnode）以及部署GVR同步工具的服务器间的网络需要互通。集群支持两平面网络部署，集群组网使用一个网络平面即私网网络，集群的对外服务使用另外一个网络平面即业务网络。对于异地双活集群，可以打通主备集群间业务网络而不连通主备集群内部私网，GVR同步工具支持IP Mapping实现基于业务网络的数据同步。对于网络端口方面，需要开通主备集群各节点服务器之间以及两个集群与GVR同步工具之间的数据库服务访问端口（默认为5258、5050）、数据同步服务端口（默认为5288）。2)节点间带宽需求：集群双活同步采用节点对节点（分片对分片）的数据同步方式，即数据同步实现主集群上表的n1分片与备集群上表的n1分片的数据一致性。同步过程中采用主备集群对应节点间并行同步的方式，支持多个表并行同步，需要根据灾备的RTO要求以及数据增量大小评估主备集群间网络带宽需求。即满足 主备集群各节点间的整体带宽&gt;每日变化增量数据量大小/同步窗口时间。3.3 双活容灾方案GVR同步工具部署资源需求GVR工具建议独立部署，配备1台服务器，用于同步工具的部署，同步日志信息、同步配置数据的存储，服务器配置不低于8core+32G+1TB。适用场景4.1 T+1同步场景方案描述T+1异步双活同步适用于同步时效性要求不高，具有较长时间窗口用于数据同步的场景，如作业跑批类场景。每天凌晨进行日作业的跑批加工，完成作业跑批后集群数据处于不再变动的静态状态，此时即可启动集群双活同步完成数据的增量同步。在数据同步期间，主集群上正在同步的表可支持查询和Appendonly类型的DML数据写入，备份集群上正在同步的表不可对外提供服务。T+1异步同步方式和业务的耦合性较低，通过不同时间段来规避数据同步时的不同表数据间的切片一致性问题。方案架构如下图：<img src="https://cdn.gbase.cn/Uploads/xXxa5TGlzVntd4DT5o7gU/2.png">①应用加工的跑批作业按照原逻辑在主集群上执行 ②应用加工作业涉及的修改过的表，加入到待同步任务列表中 ③作业跑批完成后，触发集群双活同步，或按照时间进行切分，如上午8点完成作业跑批，则上午9点开始进行双活同步 ④所有待同步表同步完成后，备份集群中的数据与主集群中的数据达到一致状态，完成双活同步，此时备份集群可对外提供数据查询服务用户也可以按库进行全部表同步或者提供一个较大范围的同步表列表，即提前预置需要同步的库或表，省去第②步的操作。在进行双活同步时，GVR同步工具自动完成表在主备集群间是否一致的判断，对于本次作业周期内未修改的表不再进行同步。增量同步时间评估T+1异步双活同步需要在一个固定的时间窗口内完成增量变化数据的同步，需要的时间较长。可以根据变化数据量/网络传输带宽进行所需时间的预估，因为数据库集群双活同步是分片对分片的并行网络传送，并可以设置多个表的并行同步，可以充分利用网络带宽。对于同步时间窗口不足的场景，可以按照业务特点分批次进行数据同步。如作业跑批的时间窗口为0点~8点，其中0点~2点为日增数据加载，2点~3点为公共数据加工生成，3点~5点为汇总层数据加工生成，5点~8点为指标统计。则可以编排同步批次如下：3点进行ODS层日增入库数据表的双活同步 5点进行公共加工数据表的双活同步 9点进行剩余未同步表的双活同步灾备指标评估：T+1异步双活同步方案下的灾备指标取决于重新进行日跑批的耗时。因为OLAP系统的原始数据来自于外部系统，一般具备业务加工的幂等性，可以通过重新加载和重新跑批加工的方式实现数据的恢复，所以RPO指标为0。对于无法重新跑批计算的数据，其RPO最悲观为上次同步完成时的业务时间到灾难发生时间，即RPO&lt;24小时，针对这类业务可以提高数据同步频次的方式来降低RPO，如每小时同步一次该类型数据将缩短RPO至1小时内。对于RTO恢复目标，其恢复时间为上一次数据同步完成时间开始，重新跑批的耗时，如重新日跑批需要8个小时，则RTO&lt;8小时。4.2作业级准实时同步场景方案描述作业级准实时同步是将表数据同步任务加入到应用加工的跑批作业调度中，在一个跑批作业任务结束后，执行该作业所涉及表的双活同步。GVR提供用户同步任务调度接口，在跑批作业的最后一步增加一个双活同步任务，待同步任务完成后，该作业执行完成。该方案下双活同步与业务会进行一定的耦合。通过作业任务调度实现主备集群间数据的及时数据同步，达到降低RPO、RTO的目标。方案架构图如下：<img src="https://cdn.gbase.cn/Uploads/wiK3hnc1ehry3LAxIXImY/3.png">①修改业务程序脚步，在每个跑批作业的末尾，增加双活同步任务调度 ②提前预置或在作业执行时生成要同步的表列表，在作业执行完成后，按照预置的表列表或即时生成的本次作业存在数据变动的表列表进行数据同步 ③表同步任务完成后，该跑批作业才正式结束，当出现数据同步任务失败的情况下，作业调度程序需支持同步任务的重跑而无需进行整个作业的重跑 ④为降低数据同步对作业跑批性能的影响，最后的同步任务可以异步执行，即完成作业跑批任务后，即可进行后续跑批任务的执行，数据同步异步进行，并最终返回同步结果。增量数据同步时间评估作业级准实时数据同步将主备集群间的数据同步任务打散到各个作业任务中，单个作业的同步数据量较小，同步耗时较短。依然可以通过同步数据量和网络带宽来做同步性能的预估。在有较高性能要求的多个串行跑批作业的链路中，可以将表同步任务作为异步任务方式执行，降低对作业链路的性能影响。灾备指标评估作业级准实时数据同步与T+1异步双活同步相同，对于能够重新跑批生成数据的业务其RPO=0，对于无法通过跑批等方式重新计算生成的数据其RPO=主备双活切换时间+作业跑批时间，可达到分钟级。RTO的时间接近作业重新跑批的时间，如在执行某个耗时1小时的作业过程中，主集群发生灾难性故障需切换到备份集群，RTO&lt;1小时，只需在备份集群基于上次同步完成的表进行最近一次的作业跑批即可。4.3双活同步功能对业务影响及功能限制说明1）对业务影响：双活同步方案同步粒度为表级，因此对业务影响为正在同步的表级别的影响主集群：正在同步的表支持读，以及insert select、insert values、load、delete、以及开启fast_update模式后的update和merge类Appendonly形式的DML操作，不支持DDL、不开启fast_update模式的update、merge类DML操作； 备集群：正在同步的表不支持读、DML和DDL操作；2）同步范围：GVR工具同步范围为对同步表的DML类型操作，不支持对同步表的DDL类型操作的同步； GVR工具支持对主备集群间元数据同步，包括对表、存储过程、视图、自定义函数类型元数据同步；GVR双活同步工具介绍GVR（GBase_Visual_RsyncTool）工具封装底层数据同步的实现细节，采用图形化方式简化双活同步配置，支持存储过程等元数据同步，提供双活同步的监控运维功能。<img src="https://cdn.gbase.cn/Uploads/1OkNj6zT-0Wexsuwy49Lz/4.png">GVR同步工具架构如上图，各模块的职责描述如下：前端服务：可视化界面，SNMP/ RESTFUL接口 后端服务：接收前端请求，完成用户及权限认证、同步任务调度等 底层工具：负责同步执行，内部封装，用户透明 日志体系：后端服务、底层工具各模块输出记录操作日志 配置库：持久化双活同步配置信息，记录同步任务执行情况<img src="https://cdn.gbase.cn/Uploads/mzOo8r0xZ7Ve_gLgKAdyW/5.png">写在最后GVR支持包括可视化配置主备集群同步、元数据同步、动态展示进度条同步进度、历史同步任务查看、可视化编辑定时任务、同步任务告警功能、主备集群数据一致性校验、数据源管理、同步任务管理、同步调度策略配置、同步任务监控、操作记录审计在内的多种功能。点击了解GVR详细信息。

如何用GVR可视化工具，实现GBase数据库的双活集群容灾?

日常数据处理中，无论是报表制作还是数据分析，往往会涉及到数据集的行列转换，通过对数据有指向的聚合，以提供理想的数据透视。作为一款企业级的数据库产品，南大通用GBase 8s数据库提供Pivot及其逆操作Unpivot函数，在上一期的内容中，我们详尽分析了Pivot函数的使用<a href="https://www.gbase.cn/news/3625">（点击查看Pivot函数使用）</a>，本篇文章，让我们一起来了解Unpivot函数。Unpivot函数概述Unpivot是Pivot操作的逆过程，是一种将表中的列转换为行的操作。Unpivot特别适用于处理具有多个相关值（通常表示不同类别或时间点的数据）存储在多列中的情况，这种转换使得原本在列中的多个值分布在多行中，从而可以对这些值进行纵向分析，便于进行分析、查询或与其他数据集进行整合。Unpivot语法详解在GBase 8s中，Unpivot操作的语法同样简单明了。通过指定目标字段和源字段，我们可以将数据从列格式转换为行格式，从而实现数据的深入分析。<img src="https://cdn.gbase.cn/Uploads/8OclzrT5h2x83MNL6TfQv/1.png">Unpivot使用示例首先，创建一个 pivot 操作后的结果集用于unpiovt的举例。用例：<img src="https://cdn.gbase.cn/Uploads/pE4Nakn-C0bCr0wm9gmOn/3.png">Unpivot转换查询注意事项<ul><li>Unpivot 查询可以作用于任何列，而不仅是聚合后的列或pivot操作后的列，GBase 8s支持对任何表、任何视图的列进行unpivot操作；</li><li>一个unpivot查询可以返回的最大行数为：分组数 * unpivot_in_clause 中指定的转换操作列（上述列子中为4(job) * 3(转换列)=12，默认exclude nulls，不含空行，去掉4个空行，则结果为8）；</li><li>GBase 8s限制了unpivot_in_clause 中指定的转换列数目最多256 列；</li><li>GBase 8s要求unpivot_in_clause 中的列必须是相同的数据类型；</li><li>GBase 8s要求unpivot_for子句的项个数与unpivot_in子句中的AS项表达式数目保持一致；</li><li>在pivot 中，pivot_in_clause 和pivot_clause中可以指定别名。unpivot 语法中也允许使用别名，但是只能给 unpivot_in_clause 中定义的列指定别名。且GBase 8s只能是常量表达式，unpivot_in_clause 中的别名，GBase 8s不能支持加单引号。</li></ul>写在最后其他Unpivot使用上的限制，可参考官方文档《GBase 8s V8.8 SQL 指南：语法.pdf》官方文档链接：<a href="https://www.gbase.cn/download/gbase-8s-1?category=DOCUMENT">https://www.gbase.cn/download/gbase-8s-1?category=DOCUMENT</a>也欢迎大家到南大通用GBase技术社区：https://www.gbase.cn/community，交流与分享更多GBase数据库技术疑问和使用体验。&nbsp;

数据逆透视 | 南大通用GBase 8s数据库Unpivot函数

对一些行业关键核心业务应用来说，必须满足7×24小时的不间断服务。这就要求数据库必须具备高可用性以避免数据库节点的单点故障。数据库的高可用架构选择直接影响到业务应用服务可用性的等级。一般行业的关键核心业务要求具备极高可用性，即99.999%的可用性级别。Oracle在高可用架构上陆续推出了主机HA（Highly Available）、ADG（Active DataGuard）、RAC（Real Application Cluster）、OGG（Oracle Golden Gate）等多种形式。这些高可用架构可以单独使用，也可以组合使用，许多金融机构借助Oracle的多种高可用架构组合，构建了两地三中心的极高高可用业务服务。在国产化替代的背景下，国产数据库需要在高可用性技术上达到Oracle的同等水平甚至有所突破才能逐步实现千行百业的关键核心业务替换。目前，国产数据库大多已经借鉴Oracle构建了自己的完整高可用架构，以南大通用GBase 8s数据库为例，就有一整套对标Oracle高可用的技术栈来确保行业业务系统的高可用服务。<img src="https://cdn.gbase.cn/Uploads/p4dt_cEJmfoqR2jpErz8O/1.png">&nbsp;GBase 8s主备式集群GBase 8s提供了基于redo log实时同步和重做的主备式集群。主节点和备用节点之间的数据传输支持多路复用连接，可以减少网络资源的需求，提高服务器之间的通信效率。主备式集群支持HAC和RHAC两种集群方式。HAC是典型的一主一备的集群模式，可以根据网络传输条件选择全同步、近同步和异步三种redo log复制形式，完美对标oracle ADG的最大保护、最大可用、最大性能三种工作模式。全同步是交易在主节点上完成后，在提交之前，需要把交易的redo log复制到备用节点，备用节点在接受到redo log之后，进行日志重放，在备节点重放完成之后，主备节点一起提交。该方式最大的优点是保障交易的可靠性，只要交易成功，一定是在主备两个节点都写入redo log成功。近同步是交易在主节点上完成后，该交易的redo log需要通过网络发送给备用节点，当备用节点确认接受该交易的redo log之后，主节点上的交易即刻提交。异步是交易在主节点完成之后，就传送到备用节点，不需要等待备用节点回复任何消息，主节点都可以提交。但在检查点来临时，需要比对主备节点检查点的一致性，也就是说数据库允许在两个检查点之间是异步的，但是主备节点的检查点必须要一致。HAC集群的实际部署，推荐服务器双网卡配置，业务流量走南北向网卡，redo log同步的流量走东西向网卡。HAC集群的特点：1. 该集群模式部署简单，数据冗余； 2. 对应用程序来说，数据库透明访问； 3. 故障切换时间在30秒内完成； 4. 数据同步方式灵活多选； 5. 主备节点均可读可写。HAC集群的使用场景：1. 在同机柜、同机房、同城的时候推荐考虑，网络延迟是影响HAC集群的主要因素；2. 数据量建议在不超过10TB的时候可以考虑HAC，主要是考虑单服务器磁盘可用容量的限制。RHAC集群是GBase 8s集群的另外一种表现形式，从集群形态上支持一主多备，主要用于远距离传输、异地容灾的业务场景。RHAC是典型的异步传输机制，主节点负责接受和处理交易，并把交易的redo log源源不断地发送到目标节点，不需要等目标节点接受消息，也不需要等目标节点的检查点，只有目标节点在重做redo log之后才会向主节点返回redo log的位置信息。RHAC集群的特点：1. 通过数据库的redo log进行复制，在备用节点恢复的时候可以通过最后一个检查点自动追平redo log，保证主备节点的数据完整性和一致性； 2. 对主节点性能影响最小； 3. 对应用透明访问； 4. 故障切换时间在30秒内完成； 5. 主备节点均可读可写。RHAC集群的使用场景：1. 长距离传输的业务场景或异地容灾的场景； 2. 网络的延迟和带宽都要求比较宽松。HAC和RHAC部署架构如下图所示：<img src="https://cdn.gbase.cn/Uploads/t5-g_EFHWi40R2mfcDfm6/2.png">&nbsp;连接管理器CM连接管理器CM（Connection Manager）是GBase 8s自带的数据库集群管理组件。该组件有两个功能，应用客户端向GBase 8s进行连接访问，用于数据库集群故障发现、故障转移。该组件可以单独部署，也可以和数据库部署在一起，为了避免单点故障，可以部署多个CM。&nbsp;GBase 8s基于共享存储的数据库集群对于大型业务系统来说，一般会采用基于共享存储的双节点或者多节点数据库集群来支撑业务的高可用。GBase 8s共享存储高可用集群SSC，采用共享磁盘方式实现节点高可用，数据仅存储一份，有效利用硬件资源，避免数据重复存储问题。共享存储支持磁盘阵列也支持分布式存储，IO设备支持裸设备也支持共享文件系统。集群为主控对等管理模式，查询时访问本地缓存，无网络开销，线性扩展性良好，集群节点数最多可达16个，所有节点均可读写。当主节点失效时，辅助节点可以升级为主控节点，保障系统的高可用。SSC集群的特点：1. 类RAC技术，支持共享存储，保证数据的强一致性； 2. 应用透明访问； 3. 集群中所有节点均可读写； 4. 集群故障切换在30秒内完成； 5. 在数据量低于100TB的业务场景中，相对于分布式数据库来说，性价比最高的数据库集群方案。SSC集群使用场景：1. 数据量超过10TB小于100TB的业务场景； 2. 单机能力或主备式集群处理能力不满足的业务场景。部署架构如下图所示：<img src="https://cdn.gbase.cn/Uploads/gZr_AxN61iDggPOvXSMVK/3.png">对SLA要求更加严格的关键核心业务系统，GBase 8s也有两地三中心高可用解决方案。部署架构如下图所示：<img src="https://cdn.gbase.cn/Uploads/RegKCKy1SsvtfpTYo56pw/4.png">如上图所示，主机房采用4节点的SSC集群架构，同城灾备机房部署一个HAC节点，异地灾备机房部署一个RHAC容灾节点，完美地构建了两地三中心的部署架构。应用程序通过CM访问数据库集群，应用程序无法知道数据库集群的部署情况，相对数据库来说更安全。当主节点发生故障时，一个SSC节点自动提升为主节点接管业务，其他节点自动向新的主节点看齐，并自动同步无需人工干预。当备用节点故障的时候，也不影响整个数据库集群的访问和业务的持续运行。&nbsp;GBase 8s&nbsp;数据实时交换共享集群GBase 8s内置以表为单位的数据实时同步能力，对标OGG。该能力的特点如下：1. 数据库可以有两个或多个节点，每个节点均可读、可写； 2. 每个表上的同步支持单向同步、也支持双向同步； 3. 可以支持完整行的数据同步，也支持特定字段的数据同步； 4. 支持全量同步、增量同步，支持断点续传； 5. 支持数据快速比对； 6. 当有一个节点故障的时候，业务系统可以在1秒以内切换到其他节点，最大化保障业务连续性； 7. 支持一键部署； 8. 可以在两个数据库集群之间使用表复制的能力连接起来，从而实现数据库集群双活的能力。<img src="https://cdn.gbase.cn/Uploads/k166nGqLoNOfaAJ10Tkmr/5.png">该能力的使用场景：1. 野外或无人值守环境，对数据库干预较少的场景； 2. 对数据库切换时间要求极短的场景； 3. 部省市县数据实时交换共享业务场景； 4. 平行单位之间数据实时交换共享场景。 &nbsp;

GBase 8s高可用集群架构介绍

一图读懂GBase 8a管理工具GDS

作为一款企业级的数据库产品，南大通用GBase 8s数据库具备杰出的数据处理能力。日常数据处理中，无论是报表制作还是数据分析，我们经常会遇到将行数据转换为列数据的需求。Pivot函数的存在完美解决这一问题，轻松实现行数据到列数据的转换，帮助我们从不同的角度审视数据。本文将详细介绍如何使用Pivot函数进行动态行转列操作，并提供具体的操作示例。&nbsp;GBase 8s Pivot函数的概述Pivot，即行转列，是一种将表中的行数据转换为列数据的过程。通过Pivot操作，我们可以将数据表中的一列或多列的数据转化为多列的形式，以便更好地进行横向统计和分析。Unpivot，即列转行，与Pivot相反，Unpivot则是将表中的列数据转换为行数据。以便更好地进行纵向统计和分析。Pivot和Unpivot是数据转换中非常有用的两个函数，它们可以根据需要改变数据的呈现方式，使得数据更易于理解和分析。在数据库查询、数据分析、报表制作等领域中，都有着广泛的应用。我们将在下一篇文章介绍Unpivot函数。&nbsp;GBase 8s pivot的语法详解Pivot 转换数据的过程：多行被聚合，然后转换成列，每一列表示聚合数据的不同范围。语法如下：<img src="https://cdn.gbase.cn/Uploads/Z__-TiSBtxOLtpDHnJmD8/1.png">pivot紧跟from，位于from和where之间。【一句话来说明】：pivot(聚合函数1 as 别名1，聚合函数2 as 别名2 ...) for 需要转为列的字段1,字段2.... in((字段1值1，字段2值1) as 别名1,(字段1值2，字段2值2) as 别名2...)&nbsp;GBase 8s Pivot示例注意：以下所用示例使用的数据库版为:GBase8sV8.8_TL_3.5.1_x86_64下面示例都是对pivot语法的简单演示，使用emp表，在转换前，先看一下基础数据：<img src="https://cdn.gbase.cn/Uploads/f6Sf9Lj2igF9-DP5Q_tpw/2.png">--用例1：单列转换这里将通过deptno和job来汇总sal1，然后转换对deptno的汇总到它们各自的列上需要聚合的列：sal1需要转换的列：deptno转换的列需要过滤的值：10,20,30,40<img src="https://cdn.gbase.cn/Uploads/TDT1noNliKfRT7Zp5E6Ov/3.png">关于这个例子需要注意的地方：pivot操作实际执行了隐式的GROUP BY，使用的列是没有出现在pivot_clause中的列（本例为job和deptno），大多数的转换查询都是在列的特定的子集上来执行。像所有的聚合查询一样，额外列的出现会影响分组。在本例中，除了sal 1列，其余所有列都成了分组集，其中deptno为转换列。基础数据中的其他列如ename等如果加入就会影响分组，所以可以使用子查询等来定义基列的集合，例子中的SELECT deptno, job, sal 1 FROM emp作用就是定义基列的集合。--用例2：所有列都参与的效果：<img src="https://cdn.gbase.cn/Uploads/J6bNOEvjbN8gPaMcA3DKA/4.png">本例中，除了sal 1列，其余所有列都成了分组集，其中deptno为转换列。这个转换没有什么意义。--用例3：with as下面再举一个with as子查询的例子，效果与上述内联视图结果一致。<img src="https://cdn.gbase.cn/Uploads/mfWJzvbODhVb7T0AKxhKS/5.png">--用例4：多列转换<img src="https://cdn.gbase.cn/Uploads/0viK80l0q9xJ4-BgAVlZ0/6.png">上面的例子中 pivot_clause 中定义 2 个聚合，这里得到的转换列是双倍（因为聚合的数量是双倍）。转换列的数量=聚合列的数量 * pivot_in_clause 中值的个数（2*2=4）， 转换列的数量不能超过 1024。--用例5，多列多值转换<img src="https://cdn.gbase.cn/Uploads/fwxlFDi0_r2s2PWObze6l/7.png">GBase 8s Pivot转换查询注意事项在 pivot_for_clause 中使用的列（如例子中为 deptno 列)不能出现在SELECT投影列中，在 pivot_for_clause 中的列会根据我们在 pivot_in_clause中提供的值的范围进行分组。下列中试图查询 deptno 列，会引发异常，因为这种情况下，deptno完全从投影中被移除了。<img src="https://cdn.gbase.cn/Uploads/GXbRUjKQ-Ox0lwmyTH-pH/8.png">同样也不能查询任何出现在pivot_clause 中的列。比如试图查询 sal1 列，也会引发了同样的异常。pivot_clause中的列必须使用聚合函数，没有使用聚合函数，也会引发异常。<img src="https://cdn.gbase.cn/Uploads/7R2_eAYPyJH6x7BRWzLAq/10.png">pivot_in_clause 中，如果指定别名就用别名，如果没有指定就用值当列名；而 pivot_clause中如果指定别名就连接到pivot_in_clause 转换后的相应列的名称的后面，如果没有指定就不用。pivot_clause中有多个聚合函数时，8s允许都不设置别名，8s会自动在后面加上_1,_2..依次类推。别名都不支持加单引号。<img src="https://cdn.gbase.cn/Uploads/hOTzCUzNWG0EzzGfSKAs_/11.png">其他使用上的限制，可参考《GBase 8s V8.8 SQL 指南：语法.pdf》GBase 8s数据库官方文档：https://www.gbase.cn/download/gbase-8s-1?category=DOCUMENT<a href="https://www.gbase.cn/community">南大通用GBase技术社区：https://www.gbase.cn/community</a>通过本文的介绍，您可能已经对GBase 8s中的Pivot功能有了全面的认识。它不仅仅是一个简单的数据转换工具，更是数据分析的利器。下一篇文章，我们会展开介绍Unpivot的使用技巧，感谢您的阅读。 &nbsp;