一图读懂GBase 8s集中式管理平台GEM

一图读懂GBase 8c运维平台

当数据库发生故障时，你会如何进行应急处理？本文通过梳理南大通用GBase 8a数据库系统使用中可能出现的各种异常情况，以期帮助大家应对GBase 8a数据库使用中的突发故障，提供基本的问题解决思路。本期续上篇，重点聚焦数据库服务异常、数据丢失及其他异常等故障类型。4.数据库服务异常4.1 GBase集群服务进程crash现象描述 集群各节点服务：gclusterd、gbased、gcware、gcrecover、gc_sync_server 5个进程异常crash。现象分析 集群各节点服务：gclusterd、gbased、gcware、gcrecover、gc_sync_server 5个进程异常crash。应急操作流程 此种异常大多由于某条SQL或某场景下触发GBase bug导致，需要通知应用协助排查问题原因。 1)通知开放平台和GBase厂商协助排查问题。 2)运行部门分析系统中运行的异常SQL。 3)运行部门停止产生问题的SQL。 4)GBase厂商分析该问题场景，提供短期解决方法及后续修复时间。4.2.GBase集群服务无法启动现象描述 集群各节点服务：gclusterd、gbased、gcware、gcrecover、gc_sync_server服务无法启动。现象分析 集群各节点服务：gclusterd、gbased、gcware、gcrecover、gc_sync_server 服务无法启动，通常情况为GBase 8a集群产品bug导致。应急操作流程 通常情况为GBase 8a集群产品bug导致。 1)运行部门通知开放平台和GBase厂商协助排查问题。 2)运行部门和GBase厂商分析运行日志及运行场景。 3)GBase厂商分析该问题场景，提供短期解决方法及后续修复时间。5.数据丢失5.1.集群中多节点故障，导致集群数据丢失现象描述 多节点故障，集群数据丢失现象分析 比较极端的情况下，GBase 8a数据库多节点故障，导致集群数据丢失，数据无法修复。应急操作流程 用备份数据进行恢复。 1)通知开放平台和GBase厂商协助排查问题； 2)运行部门停止运行任务。（10分钟） 3)GBase厂商停止数据库服务； 4)GBase厂商从备份介质恢复最近的备份数据；（数据量大小不同，恢复需要的时间差异较大，通常在12-24小时之间） 5)GBase厂商启动服务，校验集群数据一致性；（30分钟） 6)运行部门恢复服务，通知运行部门启动任务。6.其他异常6.1 数据不一致错误现象描述 集群节点出现数据不一致报警现象分析 某个节点网络闪断的情况下，会出现数据不一致的情况，通常会在网络恢复之后自动进行数据同步。如果长时间处于数据不一致状态，则需要手工同步数据。应急操作流程 在网络恢复的情况下，数据不一致的节点会自动恢复，检查网络情况，如果网络恢复后一个小时数据依然不同步，考虑进行手工同步过程。 1)运行部门通知开放平台和GBase厂商协助排查问题 2)临时表加载个别报警可以等待10分钟，集群自动同步成功，则问题正常结束，否则需要GBase现场支持判断是否需要停止集群服务，停止运行任务，执行3-6步操作。（取决于当时任务的大小，通常在1小时-4小时之间） 3)GBase&nbsp;8a停止数据库服务（20分钟） 4)GBase厂商分析数据不一致的表，进行手工同步 （根据表大小和不一致的表的数量，时间通常在2-8小时之间） 5)GBase厂商启动数据库服务，校验数据一致性（30分钟） 6)GBase通知运行部门，系统恢复，启动任务运行。6.2数据错误现象描述 某SQL语句执行结果集错误。现象分析 由GBase 8a数据库执行计划bug导致SQL语句结果集错误。应急操作流程 如发现此类问题，需应用配合分析目前系统受到的影响范围及考虑后续修复方法。 1)运行部门通知开放平台和GBase厂商协助排查问题； 2)GBase厂商分析定位问题，给出详细原因说明及修复方案、规避方法； 3)应用部门依据厂商说明，分析影响范围，排查影响范围； 4)运行部门和GBase厂商修复错误数据，并修改程序规避问题。 5)GBase厂商提供修复问题版本。6.3 执行报错现象描述 某SQL语句执行报错。现象分析 由GBase 8a数据库bug导致SQL语句执行报错。应急操作流程 如发现此类问题，需责成厂商分析该bug原因，并提供解决期限。 1)通知门通知开放平台和GBase厂商协助排查问题； 2)Gbase厂商分析并提供规避方案。 3)应用部门依据厂商说明，进行问题规避； 4)GBase厂商提供修复问题版本。6.4 并发过高导致的数据库节点负载过高问题判断并发过高主要表现在以下几个方面： （1）系统CPU使用平均超过90%。 （2）磁盘IO接近饱和。 （3）通过show processlist查看发现并发过高，且有1~3个超长任务（超过或接近1小时）。解决方法： 1）降低调度系统并发数 2）调整长作业与短作业并发顺序，长作业与短作业均匀运行，避免长作业集中运行 &nbsp;

数据库出现故障时，如何应急处理？别慌，照这样做（下篇）

当数据库发生故障时，你会如何进行应急处理？本文通过梳理南大通用GBase 8a数据库系统使用中可能出现的各种异常情况，以期帮助大家应对GBase 8a数据库使用中的突发故障，提供基本的问题解决思路。本期将从硬件故障、操作系统故障及资源使用情况异常三种类别展开。1.硬件级别故障1.1 &nbsp;GBase 8a数据节点硬件级别故障现象描述 GBase 8a单节点宕机或Hang住。现象分析 GBase 8a数据节点主机因电源模块故障、主板等硬件原因导致宕机；另外还包括本地磁盘故障、对外服务网络中断、Raid卡故障所有通道连接中断等系统无法正常对外提供服务的情况。应急操作流程 GBase 8a集群允许一台机器脱离集群，带病运行一段时间，但无法长期运行,需要尽快停止业务，对故障硬件进行修复。建议处置方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)开放平台通知设备维护厂商现场支持，进行故障硬件维修；（10分钟） 3)运行部门停止故障集群上的作业。（取决于当时任务的大小，通常在1小时-4小时之间） 4)硬件厂商修复故障机器。（4-8小时） 5)GBase现场支持启动数据库服务，进行数据同步等状态检查，如有异常进行数据修复。（30分钟） 6)运行部门启动集群作业。1.2 加载机硬件级别故障现象描述 加载机宕机或Hang住。现象分析 加载机主机因电源模块故障、主板等硬件原因导致宕机；另外还包括本地磁盘故障、对外服务网络中断、Raid卡故障所有通道连接中断等系统无法正常对外提供服务的情况。应急操作流程 目前大数据平台应用架构实现加载机高可用，8台加载机任意一台或多台（非全部）出现故障，不会引起应用中断。建议处置方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)开放平台通知设备维护厂商现场支持，进行故障硬件维修；（10分钟） 3)硬件厂商修复故障机器。（4-8小时） 4)GBASE南大通用现场支持或运行部门管理员启动加载机上加载、应用服务等。（30分钟）2. 操作系统级别故障2.1GBase 8a数据节点操作系统级别故障2.1.1 操作系统损坏现象描述 单节点操作系统损坏。现象分析 GBase 8a数据节点Raid卡故障或操作系统故障，导致系统无法提供服务，需要重新安装操作系统。应急操作流程 GBase 8a集群允许一台机器脱离集群，带病运行一段时间，但无法长期运行,需要尽快停止业务，对故障机器进行修复。可以使用预先准备好的备用机加入GBase 8a集群，减少安装操作系统的时间，缩短修复过程。建议处置方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)设置备用机，准备好加入集群。（10分钟） 3)运行部门停止故障集群上的作业。（取决于当时任务的大小，通常在1小时-4小时之间） 4)GBASE南大通用现场支持停止故障机，配置备机IP，进行GBase 8a数据同步；（根据数据量大小，通常在12-24小时之间） 5)GBASE南大通用现场支持启动GBase 8a集群。（20分钟） 6)运行部门启动集群作业。2.1.2. 文件系统故障现象描述 文件系统或者逻辑卷故障。现象分析 本地磁盘、存储磁盘损坏，导致文件系统或者逻辑卷故障，以及空间满等，导致应用数据对磁盘读写异常。应急操作流程 本地磁盘故障，导致系统io读写异常，不能正常对外服务。建议处置记录方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)开放平台通知硬件维保厂商，检查硬件日志，定位问题； 3)尝试登录系统，检查系统日志及磁盘读写情况； 4)一般情况下本地硬盘使用Raid5，出现该场景问题的几率很低，硬件故障可能性较大； 5)硬件厂商更换故障磁盘； 6)如果文件丢失，使用备份文件进行恢复。GBase 8a数据库文件损坏，使用GBase 8a同步功能进行修复。 7)GBASE南大通用现场支持启动服务，观察问题是否解决。2.2.加载机操作系统级别故障2.2.1.操作系统损坏现象描述 单节点操作系统损坏。现象分析 GBase 8a数据节点Raid卡故障或操作系统故障，导致系统无法提供服务，需要重新安装操作系统。应急操作流程 目前大数据平台应用架构实现加载机高可用，8台加载机任意一台或多台（非全部）出现故障，不会引起应用中断。建议处置方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)开放平台重新安装操作系统。（1小时） 3)开放平台配置IP、部署GBase 8a加载服务、客户端、应用服务等。（1小时） 4)GBASE南大通用现场支持或运行部门管理员启动该加载机服务。2.2.2.文件系统故障现象描述 文件系统或者逻辑卷故障。现象分析 本地磁盘、存储磁盘损坏，导致文件系统或者逻辑卷故障，以及空间满等，导致应用数据对磁盘读写异常。应急操作流程 大数据平台应用架构实现加载机高可用，8台加载机任意一台或多台（非全部）出现故障，不会引起应用中断。建议处置记录方法： 1)运行部门联系开放平台确认问题，并进行后续处理； 2)开放平台通知硬件维保厂商，检查硬件日志，定位问题； 3)尝试登录系统，检查系统日志及磁盘读写情况； 4)一般情况下本地硬盘使用Raid5，出现该场景问题的几率很低，硬件故障可能性较大； 5)硬件厂商更换故障磁盘； 6)GBase现场支持或运行部门管理员启动服务，观察问题是否解决。3. 资源使用情况异常3.1Swap使用率增高现象描述 集群中大量节点Swap使用率增高现象分析 GBase 8a软件异常，或者异常SQL导致GBase 8a内存溢出，使用内存不断增加，不及时处理会导致Swap空间占满，系统异常宕机。应急操作流程 此种异常大多由于GBase 8a软件或异常SQL导致，需要通知应用协助排查问题原因。 1)运行部门联系开放平台协助排查问题，通知GBase现场支持协助排查问题； 2)运行部门和GBase现场支持分析系统中运行的异常SQL。 3)运行部门停止产生问题的SQL。 4)开放平台清理操作系统内存，降低Swap使用率。 5)GBase现场支持协助开发优化异常SQL 6)运行部门避免未经测试的SQL运行在生产环境3.2 CPU使用率增高现象描述 集群中大量节点CPU使用率增高，IO接近饱和。现象分析 CPU的大部分时间花在系统切换上，GBase 8a同时处理的并发过高，并且存在几个超长任务（超过2小时未执行完）。应急操作流程 此种异常大多由于业务调度的并发过高引起,会导致任务处理的整体速度降低。 1)运行部门联系开放平台协助排查问题，通知GBase现场支持协助排查； 2)运行部门和GBase现场支持分析系统中并发运行的任务数。 3)如果并发过高，运行部门降低并发数。如果存在超长SQL，商量是否需要先杀掉，以避免拉低整体性能。 4)GBase现场支持协助开发优化异常SQL，避免未经测试的SQL运行在生产环境。 5)运行部门避免在统一调度系统之外，手工调起作业。3.3 磁盘IO异常繁忙现象描述 集群中单个节点或多个节点IO异常繁忙。现象分析 集群单个节点或多个节点DISKBUSY原高于其他节点（如超过12时间DISKBUSY高于80%）。应急操作流程 此种异常大多由于硬盘故障或硬盘背板、RAID卡故障引起,会导致任务处理的整体速度降低。 1)运行部门联系开放平台确认问题，并进行后续处理； 2)硬件厂商抓取硬件运行日志，并分析。 3)如果并发过高，运行部门降低并发数。如果存在超长SQL，商量是否需要先杀掉，以避免拉低整体性能。 4)厂商分析日志确定故障硬件后，更换硬件，如更换硬件需停止操作系统，需停止集群服务。 5)GBase现场支持恢复服务。3.4 磁盘空间满或超过阈值现象描述 集群中单个节点或多个节点磁盘空间满或使用超过80%。现象分析 集群中单个节点或多个节点磁盘空间使用超过80%，因GBase 8a集群数据节点须保留20%~30%作为临时空间，磁盘总空间满后，部分SQL会报错，甚至可能到会GBase 8a服务进程crash。应急操作流程 一般情况下短时间内磁盘使用大幅上升是由笛卡尔乘积SQL或GBase 8a执行计划bug导致。 1)运行部门分析GBase 8a临时空间使用情况。 2)运行部门分析运行SQL情况，确定哪条SQL导致。 3)Kill SQL，观察空间是否释放。 4)如笛卡尔乘积，则反馈开发部分进行处理;如GBase执行计划问题，反馈数据库厂商，要求提供短期解决方案及后期修复计划。 5)恢复服务。 &nbsp;

数据库出现故障时，如何应急处理?别慌，照这样做（上篇）

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第8期，介绍数据库系统的运维监控。金融行业的系统中集群规模大，数据安全要求高，业务连续性强。GBase 8a MPP Cluster提供了完善的运维监控和保障制度，为用户的业务和数据安全提供保障。&nbsp;1、集群监控GBase 8a集群良好运转是用户业务和数据安全的保障，GBase 8a集群有以下几种监控运维方式：<ul><li>GBase 8a MPP数据库运维管理系统：GDOM</li></ul>（适用于单个集群或多个集群统一的图形化管理、运维、监控场景）GDOM是综合全面的一款监控运维工具，Web可视化界面，可监控集群硬件资源使用信息、集群服务信息、审计信息，将这些信息自动分析产生图表供用户查看，并根据用户设定的报警策略及时报警通知用户。同时Web界面提供安装部署、集群扩容、节点替换、版本升级、服务启停等功能。<img src="https://cdn.gbase.cn/Uploads/iFpsFeacYAgRnZLyHzGGY/1.jpg">GDOM系统需使用独立的服务器部署并配置独立的资源库。GDOM可以管理多套GBase 8a集群，并提供接口给第三方获取监控信息，便于用户自己的监控平台获取集群监控信息。<ul><li>命令行监控运维工具：gcadmin工具</li></ul>（小巧灵活的工具，运维功能完善）<img src="https://cdn.gbase.cn/Uploads/5AfzulsR93AXkM7ZsKksR/2.jpg">gcadmin是GBase 8a集群自带的命令行管理和查看集群信息的工具，无需单独安装。gcadmin提供查看GBase 8a相关服务状态、集群节点数据分布规则、执行失败的sql、集群锁信息等GBase&nbsp;8a集群内部信息，不支持硬件资源使用信息查看。gcadmin只提供查看所在集群的信息，其他集群的信息无法查看。gcadmin使用命令和语法可以通过帮助信息查看。<ul><li>集群系统表</li></ul>GBase 8a的系统表中也有集群各节点服务状态、集群各节点数据分布情况、硬件资源使用情况、集群当前sql执行状态、集群历史sql执行情况、集群数据加载状态等。GBase 8a系统表众多且信息详细，需使用sql语句查询，更适合开发人员使用，且GBase&nbsp;8a系统表频繁查询会增加集群负担，对集群性能有一定影响。除了以上的监控工具外，GBase 8a还提供日常巡检报告模板和常用巡检脚本，供项目运维使用。&nbsp;2、扩容缩容GBase 8a集群在以下场景时，需要考虑对集群进行扩容缩容操作：<ul><li>GBase 8a产品在规划使用时间内如果有超预估的业务或者数据量出现，导致集群的性能下降或者磁盘空间不足；</li><li>GBase 8a产品在到达规划使用时间后，需要继续使用并且保持性能，需要做新的规划，并且按照新规划对集群进行扩容；</li><li>GBase 8a集群使用中遇到业务调整，某些业务缩减使对应VC节点规模需要缩减，某些业务增扩使对应VC节点规模需要增扩；</li><li>增加节点服务器的扩容功能支持在线动态扩展集群节点，一次可扩展任意个数节点，且扩展过程中支持暂停、恢复和取消。</li></ul>集群的扩容原理和流程描述如下图所示。<img src="https://cdn.gbase.cn/Uploads/G3kvqmA-pK088Beq7I3ca/3.jpg">扩容流程图&nbsp;3、节点替换GBase 8a集群的节点替换功能使用场景GBase 8a集群在使用过程中如果有节点服务器发生环境故障（一般是硬件故障）使得该服务器短时间内无法使用，需要使用好的服务器来替换集群中该问题服务器。节点替换为在线替换，支持中断和恢复操作，对业务无影响。GBase 8a MPP Cluster节点替换流程如下图所示。<img src="https://cdn.gbase.cn/Uploads/DUt8oSfNgxNdaJGfTzQLl/4.jpg">节点替换流程图&nbsp;4、版本升级GBase 8a产品在不断的完善已有功能和增加新的功能满足市场和用户的需求，在这个过程中GBase 8a的产品在不断的更新换代，版本更新。GBase 8a产品提供的升级功能主要用于用户从正在使用的集群版本更新到GBase&nbsp;8a集群的更新更高的版本。升级原理和流程如下图所示。<img src="https://cdn.gbase.cn/Uploads/s9sEMb8GaUig0VODg0NqW/5.jpg"> &nbsp;

GBASE金融应用指南8 | 运维监控

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第7期，介绍数据安全和高可用。&nbsp;1、数据安全在诸多行业中，金融行业的数据安全要求是最高级别的。GBase 8a产品提供了数据流转中各方面的安全措施：从数据入库对数据源的安全认证，到数据入库传输加密、数据入库存储加密，到用户取数据的连接加密、用户权限检查，到库内数据脱敏，到最终数据交付用户，全面保护用户数据的安全和隐私。GBase 8a 安全功能概览如图1所示。<img src="https://cdn.gbase.cn/Uploads/XGk9_lX0Bkh8nPDDTvc_O/微信图片_20240620134111.jpg">图1 GBase 8a 安全功能概览1、数据脱敏用户数据中含有敏感字词，希望敏感信息在无权查看的人员面前以掩码形式显示，可以使用动态数据脱敏功能。动态数据脱敏不会真正改动表中存储的实际数据，是通过脱敏函数给需要进行数据脱敏的字段添加脱敏属性，给字段中的敏感信息设置掩码，并通过用户权限控制，决定是否对有查询要求的用户暴露原始数据。支持的脱敏函数如表1所示.<img src="https://cdn.gbase.cn/Uploads/1ZIB29RY-Kj799leqOOpq/2.png">表1 脱敏函数2、透明存储加密GBase 8a默认数据在磁盘上存储的是非加密形式。对要求数据加密存储的场景，可以使用GBase 8a的透明存储加密功能让数据加密后落盘存储。GBase 8a透明存储加密功能是实例级的，整个实例创建一份秘钥证书，对实例内所有带加密关键字标识的表或列的数据在后台自动加密和解密。加密算法可选择AES或SM4。数据加密功能和原理如图2所示。<img src="https://cdn.gbase.cn/Uploads/BBdk8AR7dODvoyhJ1oCp9/3.png">图2 数据加密概览GBase 8a产品还提供加解密的系统函数，供业务sql处理临时、小范围的业务数据加解密： AES_ENCRYPT(str,key_str)、ENCRYPT(str[,salt])、MD5(str)、SHA1(str)、SHA(str)、to_base64(str)3.用户及权限管理GBase 8a MPP Cluster数据库权限管理系统根据访问控制列表对所有连接、查询和其它操作进行安全管理。权限管理系统认证连接到GBase 8a MPP Cluster数据库实例的用户和用户拥有的权限，权限系统保证用户只执行允许做的事情。当用户连接到服务器时，用户身份就由发起连接的主机和指定的用户名来共同决定。连接成功后发起命令，权限系统根据用户身份和发起的命令类型决定是否授予执行权限。GBase 8a产品的权限一共5大类：数据库对象操作类权限、数据操作类权限、存储过程和自定义函数执行权限、数据查看类权限、数据库（包含用户管理）管理类。&nbsp;2、集群高可用数据安全除了数据访问和传输安全的保护外，也包括数据防护保障，即使用数据备份、异地容灾等手段保证数据的安全。1.数据高可用—副本可配置GBase 8a集群安装时可配置用户数据存储的副本数量，副本数量可以配置1个、2个或者3个。副本数量多，用户数据安全性高，所需磁盘空间也越大。2.数据高可用—备份恢复GBase 8a MPP Cluster的备份恢复工具(gcrcman)提供集群整体、库级、表级的全量/增量备份恢复功能。GBase 8a集群中用户数据已有1份至2份副本保障数据完整和业务连续，一般情况下不建议再使用备份恢复工具在本地（集群各节点）对集群中所有用户数据做备份，在下列场景中建议考虑使用备份恢复工具(gcrcman)：• 8a集群中部分重要的表，建议使用gcrcman工具做备份；• 8a集群中的历史数据可以使用gcrcman工具备份到HDFS、S3等文件系统中。3.数据高可用—连接高可用应用使用GBase API或者gccli工具连接8a 集群，可填写多个Gcluster节点IP，实现连接高可用，避免单点性能瓶颈和单点故障。4.集群双活（同数据中心）—GBase 8a虚拟集群镜像集群双活是用于一个集群因故障无法服务时，能及时切换到另一个集群提供服务，同数据中心的双活使用了虚拟集群镜像技术实现，双活的两个集群距离较近，一般在同一机房或者同一幢楼中。虚拟集群的镜像功能有以下特点：灵活的镜像配置：支持库级、表级镜像设置；数据实时同步：对具备镜像关系的库、表进行数据变更时两边实时同步。互为镜像的库下所有表都将自动创建镜像。库下所有函数、存储过程和视图都会同步在目标库下创建；5.集群双活（同城、异地灾备）—GBase 8a集群间同步工具集群双活（异地灾备）使用了集群间同步工具(GVR)实现，可用于距离较远的异地灾备。集群间同步工具用于两个结构相同的物理集群之间数据的全量、增量同步，是底层数据文件的二进制同步的工具。通过该工具能实现两个物理集群之间的灾备架构搭建。6.两地三中心一般用于本地实时同步提升服务能力、异地异步同步保障数据安全的场景。综合使用虚拟集群镜像技术和GVR工具，主数据中心的两个VC互为镜像，提高服务能力的同时也提高数据安全，异地数据中心的备集群VC提高数据的灾备安全能力。&nbsp;

GBASE金融应用指南7 |  数据安全和高可用

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第5期，介绍系统的开发规范。&nbsp;一、模型设计GBase 8a产品中提供了多种数据分布策略，如果选择不当后期更改，需要重新建表和导入数据，代价较大。同样，表模型确定后，如果后期要更改结构，也可能会影响到上层的应用变动，代价都较大。模型设计也是项目建设中耗时较长的阶段，需要很好的理解业务，在业务人员和技术人员的良好沟通下共同确定。1.数据模型维度模型GBase 8a产品是关系数据库管理系统，在关系数据库管理系统中实现的维度模型常见有以下三种：•&nbsp;星型模型：所有维度表都直接连接到事实表上，为了提高查询性能，会在维度表和事实表之间添加冗余数据，适用于查询性能要求较高的场景。•&nbsp;雪花模型：星型模型的扩展，维度表进一步层次化，部分维度表通过其他维度表连接到事实表上，消除了冗余数据，减少数据存储量。适用于存储空间有限、需要节省成本、且对查询性能要求相对较低的场景•&nbsp;星座模型：星型模型的扩展，有多个事实表，一个维度表被多个事实表使用。适用于数据和需求需要多个事实表的场景。2.数据分布策略GBase 8a产品支持的数据分布模式有复制分布、hash分布、随机分布三种模式，分别对应三种表类型：复制表、hash分布表、随机分布表。在模型设计阶段提前确定好每个表的类型，创建表时根据设计好的类型进行创建。•&nbsp;复制表：8a集群每个节点上都存储的是表中全量数据。适用于维度表或者数据量较小的表。优势为便于关联运算时不需跨节点拉取数据。• Hash分布表：8a集群每个节点上存储的是表的部分数据。需要在建表时选择hash分布列来控制分布到各节点的数据。适用于事实表或者数据量大的表，可以避免热数据倾斜在集群中个别节点带来的性能下降。•&nbsp;随机分布表：8a集群每个节点上存储的是表的部分数据。数据随机且均匀的分布于集群各节点，无法控制。可用于事实表或者数据量大的表，因无法控制数据分布所以也无法避免个别节点热查数据多的问题，项目上较少使用。3.数据压缩算法GBase 8a产品对库内底层数据压缩存储，并提供多种压缩模式供用户选择，这些压缩算法能将原始数据压缩到3：1至20：1，这取决于业务数据特点选择的压缩算法。•&nbsp;压缩比高，数据占用磁盘空间相对小，压缩和解压耗时相对会长一些；•&nbsp;压缩比低，数据占用磁盘空间相对大，压缩和解压耗时相对会短一些；•&nbsp;用户需根据实际硬件条件和业务性能要求均衡选择合适的压缩模式。GBase 8a的压缩算法支持全局、库级、表级的设置，如果同时设置，压缩级别的优先级为列级定义压缩 &gt;表级定义压缩 &gt;全局定义压缩方式。4.字符集GBase 8a产品当前支持的字符集有utf8、utf8mb4、gbk、gb18030-2022。GBase 8a产品使用时字符集转换流程如图1所示。<img src="https://cdn.gbase.cn/Uploads/NJoDpBVqr38tFPjkVOLws/1.png">图1字符集转换流程字符集流转流程中建议编码一致，GBase 8a Server的字符集对以下使用会有一定影响：•&nbsp;字符型数据类型的字符上限，不同编码上限有差异；•&nbsp;库内数据的比较排序有差异；不同字符集排序规则如表1所示。表1&nbsp;不同字符集排序规则<img src="https://cdn.gbase.cn/Uploads/ENnK_s-fGeyHQrGDZD63q/2.png">&nbsp;二、SQL编写规范GBase 8a产品自身的SQL执行引擎和优化器具有一些特性，以下的SQL编写规范能够更好地利用GBase 8a产品的特性，发挥GBase 8a产品的性能优势。1.GBase 8a标识符规范：1）标识符是一个限制词或包含特殊字符，必须用` `引用它，比如：SELECT * FROM `select`.id&gt;100；2）如果标识符长度超过最大长度限制，数据库、表、列、视图、存储过程的命令将报错，推荐sql中使用有意义的别名；3）GBase 8a默认表名列名不支持中文名，如需支持中文名的列名表名需设置参数；4）复制表的表名不能以_n[N]结尾，[N]为数字。2.SQL编写规范：GBase 8a产品的SQL遵循SQL 92标准（ANSI X3.135-1992，ISO/IEC 9075:1992），支持SQL99 和 SQL2003 中定义的大部分数据类型（ISO/IEC 9075:1999，SQL:1999（SQL3）和 ISO/IEC 9075:2003，SQL:2003（SQL4））。GBase 8a产品的SQL特性：1)集群表类型中区分分布表、复制表、临时表，sql建表有关键字标识；2)每条SQL命令默认以分号 ; 表示结束，可使用DELIMITER进行修改： DELIMITER 限定符（在存储过程中必须更换）；3)SQL执行默认为自动提交commit；4)HASH分布字段不支持日期时间类型；5)支持修改varchar字段长度定义，支持修改表字符集从utf8到utf8mb4；6)释放空间sql：SHRINK SPACE不适宜频繁执行；7)禁止对视图进行INSERT、UPDATE和DELETE 操作；8)INSERT 支持标准sql语法及扩展写法，其中insert into t values(v1,…vn), (v2,…vn),…(vm,…vn)为批量提交，性能佳；9)UPDATE 不支持更新distributed by定义列的值。不支持多表数据的同时更新，但是update语法中可以进行多表关联操作，只能更新其中一张表的数据。支持快速更新模式；10)DELETE 不支持多表批量删除;11)MERGE操作只支持HASH分布表且MERGE语句的条件需包含业务主键和HASH分布列；12)自定义函数内不支持DML，DDL，创建临时表；13)单表列数上限2000列，单表列宽总和上限300,000字节，单表索引总数上限64。3.开发接口使用GBase 8a集群提供主流开发平台的接口驱动，集群接口驱动可以有效实现对上层应用请求的高可用和负载均衡（应用调用接口驱动的连接串中配置多个集群管理节点的IP，接口驱动的内部进行连接的高可用和负载均衡）。可以根据需要选择如下合适的接口：GBase ADO.NET、GBase JDBC、GBase ODBC、GBase C-API、GBase Python。GBase 8a 接口有如下特性，用户可以根据需要选择使用。•&nbsp;使用接口执行加载sql，可以通过接口返回的加载信息判断加载的结果；• JDBC提供数据攒批接口，使用JDBC向集群插入数据较多时，可以使用接口的批量插入参数，一次性批量发送数据给服务端，减少网络传输，同时server端可一次性处理发来的SQL，实现性能的提升；•&nbsp;查询的结果集比较大时，可使用接口的流式读取功能，流式读取可以通过数据流的方式，逐条从集群获取数据，减小大结果集对应用内存的影响。流式读取会在集群端生成一个临时表，占用临时表空间，且结果集内的数据未消费完时连接一直保持，开启流式读取对集群有一定影响，使用时需谨慎；•&nbsp;应用使用接口连接8a集群，要求安全等级较高时，可根据需要使用接口的SSL加密传输、Kerberos认证连接、SSH隧道连接等安全功能。4.数据库管理规范•&nbsp;GBase 8a数据库不适合OLTP事务类型的应用；•&nbsp;GBase 8a集群内部支持UTF8和GBK字符集的混用，可以同时使用UTF8和UTF8MB4字符集，或GBK和GB18030字符集；•&nbsp;应按照数据仓库的开发建设原则，对数据模型进行规范化；•&nbsp;开发环境和生产环境分开；•&nbsp;构建合理的任务调度机制，在满足业务要求的情况下尽量降低数据库并发；•&nbsp;正式上线前，进行性能评估测试。 &nbsp;

GBASE金融应用指南5 | 系统开发规范

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第4期，介绍系统的资源评估方法和工具。&nbsp;1、资源评估方法在确定了系统的逻辑架构和部署架构后，实际部署系统之前，还要明确所需的服务器数量和服务器配置，需要通过资源评估确定。资源评估首先要进行资源评估调研，了解当前的硬件资源需求，然后根据调研的结果数据使用资源评估工具确定需要的集群资源。资源评估调研需要了解： 1）存储容量：总共需要多大的数据容量； 2）内存、磁盘IO：业务性能标准的评定； 3）当前现有可供使用的服务器的数量和配置； 4）预算。&nbsp;2、资源评估工具通过资源评估调研获取了需要的总的磁盘容量、磁盘IO性能标准、内存容量大小与单节点管理的数据、CPU核数的相对比例等信息。根据这些信息再结合预算和已有服务器的情况，可以最终确定下来需要购买的新服务器数量和配置。GBase 8a提供了资源评估工具，用于计算资源配置。以下是资源评估工具的功能和原理：1）GBase 8a资源评估工具对存储容量的评估公式：集群存储空间需求=总数据量×数据库工作空间因子×副本因子×RAID因子×文件系统因子×数据库压缩因子<img src="https://cdn.gbase.cn/Uploads/9nrxU8rNuJBR5WPnBHuS-/1.png">2）GBase 8a资源评估工具根据内存和磁盘IO比例对性能的影响，将单台服务器硬件配比做了分类，以下是GBase 8a产品用户业务类型和服务器硬件配比分类：<img src="https://cdn.gbase.cn/Uploads/wLn9ZXCdUzj_SZMcSKRkf/2.png">3）GBase 8a资源评估工具对服务器数量的计算公式如下：集群节点数量=集群存储空间需求/单节点数据存储分区磁盘空间大小(裸磁盘空间大小)&nbsp;

GBASE金融应用指南4 | 系统资源评估方法及工具

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第3期，进一步阐述分布式分析型数据库的部署架构。1、部署架构GBase 8a产品提供多种部署形式，来满足行业项目生产环境上各种架构的需求。特别是规避业务间资源干扰，双活容灾等安全要求，也满足“信创”对不同软硬件混用的要求。GBase 8a 产品各种部署形式使用的技术和适用的场景如下表所示。表1&nbsp;GBase 8a MPP Cluster 部署模式<img src="https://cdn.gbase.cn/Uploads/V6VVh5Dd36j2O8PiBEWA4/1.png">GBase 8a单VC部署架构单VC部署是所有数据共用所有的计算资源。如图1所示。<img src="https://cdn.gbase.cn/Uploads/Zzzlqm__eh_CGXpsWjB_G/2.png">图1&nbsp;GBase 8a 单VC部署架构图GBase 8a多VC部署架构根据业务或者软硬件情况和要求，分割成多个计算资源完全隔离的VC，所有VC由管理集群统一管理。如图2所示。<img src="https://cdn.gbase.cn/Uploads/wG46apvOk4tr8rXcsCasE/3.png">图2&nbsp;GBase 8a 多VC部署架构图GBase 8a 双活（同数据中心）部署架构为保障高可用或实现读写分离，通过镜像技术，让两个VC的指定库或表，拥有实时相同的数据。当一个VC所在机房整体出故障时，另一个机房的VC可以继续提供服务。如图3所示。<img src="https://cdn.gbase.cn/Uploads/Y22aX80wXLdOk_-ti3j3h/4.png">图3 GBase 8a 双活（同数据中心）部署架构GBase 8a双活（异地灾备）部署架构部署在不同数据中心的两套集群，通过GBase的同步工具，实现指定表的全量和增量同步。减少某个数据中心整体故障的影响。如图7所示。集群间同步工具属于异步同步，一般用于实时性要求不高的场景，主集群用于读写，备集群用于读。<img src="https://cdn.gbase.cn/Uploads/vGoJAzGAW6-eaL9nkKVJx/5.png">图4 GBase 8a双活（异地灾备）部署架构图GBase 8a两地三中心部署架构通过综合利用本地双活和异地容灾，部署两地三中心的方案，实现更高的数据安全保障。如图5所示。•&nbsp;主数据中心通过镜像实现实时双活； •&nbsp;备数据中心和主数据中心间通过同步工具实现了异步方式数据同步的准实时的双活容灾。<img src="https://cdn.gbase.cn/Uploads/2Y0iODKmGCR4M9O-zW_EL/6.png">图5 GBase 8a两地三中心部署架构2、多实例部署随着近年来硬件发展迅速和国产化进程，硬盘由HDD的普遍使用到现在SSD的普遍使用，国产芯片 NUMA架构的通用，CPU由以前常见的16核、24核到现在64核、96核，行业软硬件的国产化替代等背景环境下，GBase 8a 产品在国产高配服务器（通常采用非统一内存访问架构，简称NUMA架构）上部署时，采用了新的部署架构：多实例部署架构，来适应国产高配服务器。多实例部署架构主要应用于如下场景： •&nbsp;当服务器采用NUMA架构并具有多个NUMA节点时，单个数据库实例频繁的跨NUMA节点访问内存资源，性能不是最优； •&nbsp;单个数据库实例无法发挥SSD/NVME等新硬件的处理能力； GBase 8a MPP Cluster V9.5.3版本正式提供多实例部署功能。通过在一个服务器上部署多个数据库实例（gnode实例）的方式可以解决上述服务器硬件性能无法充分利用的问题，进而提升集群的性能。多实例部署架构非多实例部署情况下一台服务器上部署一个gnode实例；多实例部署情况下，一台服务器上部署多个（通常情况下建议是2到4个）gnode实例，每个gnode实例需分配独立的IP，由不同的IP区分不同的gnode实例。如图6所示<img src="https://cdn.gbase.cn/Uploads/8ZgQdVUvmATRwA0vtyJO6/7.png">图6 多实例部署架构图3、网络拓扑网络平面类型GBase 8a MPP Cluster的网络部署规划可划分为2个物理隔离的平面网络，分别是数据平面网络和业务平面网络。如图10所示。•&nbsp;数据平面网络用于集群内部的数据运算及集群管理，也叫集群内部网络； •&nbsp;业务平面网络用于业务系统访问，也叫集群外部网络；<img src="https://cdn.gbase.cn/Uploads/GkGvbe95wsmAezQm_yYIZ/8.png">图7 &nbsp;GBase 8a MPP Cluster网络部署规划图组网方案通常建议采用两平面网络的组网方案，数据交互服务器（FTP/HTTP/HDFS等）部署在数据平面网络。集群内部网络采用10GE带宽及以上的以太网络，内部网络汇聚交换机采用40GE带宽；集群外部网络需根据业务并发量、数据量等需求进行网络带宽的设置，如不涉及大量数据交换的大数据平台建议使用1GE及以上的千兆网络即可。&nbsp;

GBASE金融应用指南3 | GBase 8a MPP Cluster 部署架构

为帮助金融机构做好分布式分析型数据库产品的选型，推广在金融行业部署应用分布式分析型数据库的成功经验，GBASE南大通用在北京金融科技产业联盟的指导下编写《南大通用GBase 8a金融应用指南》。《指南》深入介绍了分布式分析型数据库从选型规划、开发设计规范、数据安全高可用，直至运维优化的部署全过程，并介绍了GBase 8a MPP Cluster在国家政策性银行和国有大行的代表性部署案例。GBASE南大通用将陆续推出系列文章，分享解读《指南》内容，希望能够对广大金融用户的数据库选型提供借鉴帮助，助力科技金融的高效实施和高质量发展。本篇是系列文章的第2期，在上一期介绍分布式分析型数据库的特点分类，及金融行业应用场景的基础上，进一步介绍金融行业应用的分布式分析型数据库的系统架构，以及与之对应的GBase 8a MPP Cluster产品架构。分布式分析型数据库逻辑架构1、系统架构金融行业常见的系统架构如下图所示。<img src="https://cdn.gbase.cn/Uploads/BqEHjJZTO31f5UMxdCf_C/1.webp.jpg">金融行业常见的系统架构数据交换层：用于汇总前端生产系统中的各类数据，避免跨系统操作影响业务运行，保证核心系统中的数据的真实性、完整性和唯一性；提供多种数据集成方式，满足批量数据、实时数据的入库需求。数据处理层：通常采用Hadoop+MPP的数据仓湖架构。–&nbsp;Hadoop通常作为ODS数据库、数据湖使用，用于原始数据汇聚和存储、数据规范化处理、积累全量数据截面、沉淀历史数据资产、处理非结构化数据等。–&nbsp;MPP通常作为数据仓库，负责结构化数据的高性能统计分析。在MPP中通常按照数据库仓库模型对业务数据进行逻辑分层加工处理。分析后的结果数据通过导出、DBLink、虚拟集群跨业务访问等方式提供数据给上层服务使用。数据集市层：通常存储为特定用户预先计算好的数据，即数据处理层的分析结果提供给数据集市，结合本地数据进行二次加工分析，满足用户特定主题域的需求，如报表查询服务。数据服务接口层和数据应用层：对前端业务提供数据访问接口和查询服务。GBase 8a MPP Cluster在金融行业的系统架构中主要用于数据处理层和数据集市层。2、GBase 8a产品架构GBase 8a MPP Cluster产品架构图如图所示<img src="https://cdn.gbase.cn/Uploads/1MKTSt_AwW-nQgVhWF3JA/2.webp.jpg">GBase 8a MPP Cluster产品架构图GBase 8a MPP Cluster采用MPP + Shared Nothing 的分布式联邦架构，包含分布式管理集群GCWare、分布式调度集群GCluster和分布式存储计算集群GNode三大核心组件。主要功能特性如下：•&nbsp;高性能：列存、行存列、HASH索引–&nbsp;采用列存储、压缩、智能索引技术；在数据仓库场景下通常采用中度压缩算法提供1:3到1:5的压缩比；–&nbsp;采用行存列降低select *场景下的I/O量；–&nbsp;采用HASH索引、数据排序等手段提高等值查询性能；–&nbsp;MPP多节点并行，性能随集群规模线性提升；–支持向量化计算，提高计算速度。•&nbsp;跨业务集群管理和交互：虚拟集群、DBLink–&nbsp;虚拟集群通过统一的管理集群实现对多个计算集群的统一管理、统一访问入口、统一用户权限控制，多个计算集群间资源隔离。支持用户跨计算集群进行数据的访问与计算。在多个业务系统间数据关联性较高时，可采用虚拟集群方式进行数据管理；–&nbsp;提供DBLink支持不同集群间的DBlink访问，实现跨集群的数据流转，实现对远程数据库的查询以及远程数据与本地数据的关联运算等。•&nbsp;高可用能力：联邦架构无单点、备份恢复、双活集群、在线节点替换–&nbsp;联邦架构无单点：所有组件采用Active-Active多活部署，避免了单点性能瓶颈和单点故障；–&nbsp;备份恢复：提供实例级、库级、表级的备份和恢复功能，支持全量、增量备份和恢复；–&nbsp;双活集群：支持实时双活、异步双活方案。通过虚拟集群镜像技术，支持两个计算集群间的表级数据实时复制。提供集群间同步工具实现两个集群间的数据异步一致性同步，点对点的基于二进制文件进行增量同步具有较高的同步性能，同时支持异地双活部署，支持两地三中心部署；–&nbsp;在线节点替换：具有在线不停服的节点替换能力，故障节点替换过程中，支持集群执行DQL/DML/DDL操作。•&nbsp;高扩展能力：在线扩展–&nbsp;集群扩展过程无需停服，扩容期间支持对扩容操作的监控、暂停、恢复、取消。满足业务实时在线要求和降低集群扩容对业务的性能影响。•&nbsp;数据集成能力：高性能批量加载、实时数据入库、hadoop集成–&nbsp;高性能批量加载：基于策略的数据加载模式，采用副本链式转发、P2P多点传输、多加载机并行等方式可提供30TB/小时的加载性能；支持HTTP、FTP/SFTP、HDFS、Kafka、S3等多种数据源及网络协议，支持文本、ORC、Parquet、gzip、snnapy、lzo等多种压缩格式。支持从HDFS加载数据和导出数据到HDFS，方便与Hadoop集群进行数据交互；–支持外部表，可实现直接读取HDFS、S3、FTP等数据源的开放格式数据文件进行直接计算；–&nbsp;实时数据入库：内置Kafka Consumer组件可以消费Kafka中的实时消息数据；提供GBaseRTSync工具实现从OLTP数据库到MPP的实时数据同步。•&nbsp;安全能力：权限管理、用户安全、透明存储加密、脱敏–&nbsp;提供完善的用户认证及权限管理；–&nbsp;数据加密存储在文件系统中，支持表级、列级加密，支持SM4国密算法，满足数据安全要求；–&nbsp;提供动态数据脱敏功能，通过权限控制原始数据的可见范围，简化了数据库应用层的安全设计和编码。•&nbsp;基于机器学习的数据挖掘能力–&nbsp;提供机器学习扩展库插件，实现机器学习算法集成，对用户数据进行深层次的分析和挖掘；–支持Python、C/C++的UDF/UDAF，可实现算法函数扩展，满足用户自定义数据挖掘分析需求。•&nbsp;易用能力：可视化监控–&nbsp;提供可视化的运维管理工具GDOM，支持对GBase 8a MPP Cluster集群的安装、升级、扩容、节点替换、服务启停等运维管理，支持监控单个或多个GBase 8a MPP Cluster集群的运行状态，资源利用情况、SQL执行情况等；提供及时告警、趋势展示功能。 &nbsp;