GBASE南大通用支持内蒙古农信大数据平台建设

项目概况

内蒙古农信与地市信用社正式合并后面临海量业务数据的存储和管理问题。目前历史数据裸数据总量已经接近50TB,传统的数据存储和管理模式在数据处理、架构扩展性等方面的瓶颈已逐渐显露。为了满足后续业务发展需求,强化数据资源整合能力、提升数据处理分析能力、提高数据服务质量及时效性,应对未来深度数据处理分析及大数据分析应用的需求,需要引入新型的 MPP 数据库软件产品,以提供更全面、更深入、更及时的数据服务。内蒙古农信通过国产数据仓库集群产品搭建大数据平台,从而获得海量业务数据的处理和存储解决方案。目前该项目已完成扩容,形成双中心架构,该项目数据库集群已经进入稳定运行期,且有集群节点持续扩容的需求。

项目大数据平台共计部署数据库集群20节点、数据采用三副本制。主要支持业务系统:历史查询系统、人行监管报送系统、报表系统、CRM系统,承担全行日增批量数据处理任务。另外,从2021年开始,行内要求大数据平台能够实现双中心模式,实现备份中心能够实时进行数据灾备。

解决方案

内蒙古农信大数据平台系统基于南大通用 GBase 8a MPP Cluster 数据库建设,系统采用20 台PC Server 搭建数据仓库集群。通过数据文件模式进行日增量数据加载,对接行方数据源均为业务系统如:管理会计、监管报送、报表系统、CRM等等。数据仓库集群管理裸数据已经达到 50TB。在此数据量下,实现了高速批量数据加载、数据加工、数据查询等应用。该系统已经实现和林和金桥双中心的模式,能够实现主备中心的数据自动同步和实时同步,满足客户的灾备需求。

内蒙古农信数据仓库系统架构图

项目价值

1、有效提升行方日常数据批量处理速度。

同数据量下原有业务平台数据处理周期较长。现有数据库集群完成相关工作可以缩短到数小时处理完毕,充分满足了相关业务场景的数据汇总需求。

2、海量数据存储能力能够帮助行方有效节省存储平台硬件采购成本。

同数据量下支持高效数据压缩存储的数据仓库集群,相对于传统数据库的存储模式更有利于降低硬件采购成本,同样的数据存储空间可以存放和管理更多的业务数据。

3、完成了同城灾备集群双活模式部署

同城灾备集群双活模式有利的支持了内蒙古农信现有的双数据中心管理模式。GBase 8a数据库集群的双活架构能够有效应对因第三方不可抗力引起的数据损坏和业务停摆损失。比如:意外停电、火灾、溢水等风险,可以在保证业务数据安全、完整的前提下不间断的支撑业务系统的持续访问。