GBase新闻
国产数据库创新实践:GBASE在某国有大行的应用实践
某国有大行的大数据体系依托GBASE数据库构建,回顾整个大数据体系的建设历程:2013年8月该行大数据平台正式立项;2015年主库投产;2018年大数据平台获得人民银行银行科技发展一等奖;2019年大数据平台建成,形成主库+8大集市。2020年数据中台建成,同期入选工信部《2020年大数据产业发展试点示范项目名单》;2022年,面向乡村振兴的智能数据服务云搭建成功,获得人民银行金融科技发展二等奖;当前,行方正着力围绕大数据平台构建“面向未来的新一代大数据能力体系”,夯实数据底座,建立运营体系,全面开放赋能。
在大数据平台建设的技术路线选择上,行方采用分析型数据库与开源分布式数据处理相结合的技术架构。其中,分析型数据库路线与GBASE战略合作,选用南大通用分布式逻辑数据仓库GBase 8a MPP Cluster,通过与Hadoop搭建融合架构,围绕国产、开源,构建全栈式数据服务技术架构,从而实现数据应用的自主创新、安全可控。
GBase数据库在行方得到了长期且深入的应用,相继打造了一批重点标杆案例。
GBase 8a MPP Cluster作为行方重要的MPP基础设施,主要应用于结构化模型数据存储及加工领域,大数据平台承载数据占比超过70%;系统包括大数据平台主库BDS/GDS、八大集市等,构建了银行大数据基础数据底座,为数据中台服务层AI、BI平台提供数据支撑。
数据存储
大数据平台主库GBase承载数据量60PB、节点数3000+;Hadoop承载数据量23PB,节点数1500+
行内总行入库数百个系统,实现主要业务系统全覆盖
数据处理
PB级结构化数据
每日几十万个批量作业
每日全量批量大部分上班前完成处理
ms级延迟流数据实时分析
数据服务
累计开展数百项AI建模专题
为8大业务领域,应用场景提供服务
批量文件接口上万个
日均访问量上亿
除大数据平台主库外,GBase应用规模最大的场景为分行数据集市,目前该系统拥有10个GBase集群,节点数达638个,可承载数据量10PB。2021-2023年,行方以数据中台和分行数据集市为基础,推进分行用数场景上云,并构建完备的分行数据服务云(DaaS),做到了三统一、一共享、一安全。
行方的监管报送数据服务云系统采用GBase云数仓关键技术,承担了面向监管部门的十余项报送任务的批量加工工作。随着明细报送数据量的不断增加,监管报送人工干预环节同时存在高并发联机操作和海量数据分析场景,混合事务和分析处理(HTAP)数据库相关的预研,结合GBase云数仓联合适配,实现存储运算资源的有效隔离和弹性扩展,提升了联机并发支撑能力。
GBase还广泛应用于联机查询服务领域,在行方数据中台BI报表中心、灵活查询中心等系统中,GBase查询库承接加工后的数据,为上层应用及报表提供联机数据查询,可以做到千万级数据查询秒级响应。
未来,GBASE南大通用将与行方在信创转型、安全增效、云原生、数据友好型等四大方向进一步深度合作,共同构建面向未来的MPP及大数据生态架构。