顺德农商行一表通系统项目
项目背景
一表通报送系统是国家金融监督管理总局研究搭建的一套完整的明细级、标准化的金融数据体系。在银行端建设监管数据可信区,构建面向银行的监管统计数据采集、审核、应用流程,探索实现一个高效安全用数环境,满足监管对数据报送规范性、及时性和灵活性及基础环境建设的要求。顺德农村商业银行积极响应金管局的试点号召,快速启动系统建设,在不到3个月的时间内完成了整个系统的测试和上线。
关注问题
一表通报送系统分为银行方建设的报送区和监管方使用的可信区。在报送区要求数据库提供大容量历史数据存储,数据副本机制保证硬件故障的情况下数据无丢失、业务不停止,高性能的数据加载、加工处理和检核能力;在可信区要求数据库提供极高性能的数据复杂查询分析能力和数据安全性。
建设要求
数据库满足一表通规范中要求的POSITION、STR_TO_DATE、DATE_TO_CHAR、LAST_MONTH、NOW、DATEDIFF 6个函数;
数据库满足37个逻辑区(总局和36个省局),每区5个schema,每schema 90张表共185个schema、16650张表的数据管理能力;
数据库提供高性能数据加载、加工处理和检核能力,现阶段数据量下数据加载、加工处理和检核均低于30分钟;
数据库具备在线扩展的能力,可以支撑未来数据量的巨大增长;
数据库满足7×24小时的业务连续性需求;
提供从服务器、操作系统到数据库的全国产化平台解决方案,要求数据库提供对国产硬件和操作系统的全适配能力。
解决方案
顺德农商银行一表通系统由宇信科技负责应用部分的开发,依托南大通用分布式分析型数据库集群GBase 8a进行构建。在数据库层分为两个主要的集群:行方侧的报送区和监管侧的可信区。其中,报送区集群进行数据加载、数据脱敏、加工处理、数据检核等作业;可信区集群为监管机构提供不可篡改的、高性能的数据查询服务。在本项目中GBase 8a数据库通过其自身优异的性能设计、数据安全性和集群高可用能力、在线扩容能力等满足本项目的需要。对于报送平台的各类参数配置信息、调度流程配置信息、报送规则配置信息、日志和告警信息等,采用南大通用3套GBase 8s主备集群(报送区、可信区和可信区灾备各1套主备集群)作为资料库承载平台系统管理模块持久化存储。
一表通系统业务处理流程:
1)ODS数据卸载:首先将数据从ODS层卸载。
2)报送区数据处理:通过USE工具将数据加载到报送区8a,接着运行数据检核程序,业务人员填写相关数据。
3)可信区数据处理:将报送区USE卸载的数据传输到可信区USE,再次通过USE工具将数据加载到可信区8a,运行数据检核程序以确保数据的准确性。
4)数据上报:完成所有检核和填报后,将数据上报给相关监管部门。
应用效果
运行情况
本项目从2024年5月开始测试,到2024年8月已完成初步上线,自系统上线以来,数据总量已达3TB。系统每日入库数据量约为8000万行,最大表每日增量约为2000万行,每日入库的文件大小总计约为30GB。集群每日数据加载时长约15分钟,数据处理时长约20分钟,数据检核时长约25分钟。
效果及价值
系统快速上线:GBase数据库产品与一表通系统开发商:中经惠众、天阳宏业科技、宇信、银丰新融、南京科融、东华软件、江苏睿希、中软和苏州银丰睿哲等均有系统适配和项目应用,能够帮助客户在最短时间内实现系统快速上线。
客户满意度高:数据库满足金管局一表通新标准中函数的要求;GBase 8a已上线的系统中包含数百个库、100万+张表的落地案例,远超金管局一表通新标准中185个schema、16650张表的数据管理能力要求;性能卓越,数据加载、数据处理和数据检核均短于项目要求的30分钟。
自主可控:为金融业全面推进“去IOE”战略,为全面加快国产化“安全可控”监管落地施行,为促进行业国产技术架构发展,起到了积极的表率作用;全兼容、全适配的国产数据库GBase 8a和GBase 8s数据库支持所有国产CPU和操作系统,100%满足银行业客户对全国产化系统的要求,为客户核心业务系统的数据安全提供有力保障。