江苏农信社监管数据标准化报送平台建设项目
江苏农信社监管数据标准化报送平台建设项目
1项目概况
随着我国金融行业改革的不断深入，银行业监管要求日趋严格。按照监管要求，江苏省农村信用社联合社监管数据标准化报送系统有如下困难：
需要报送的项目和数据较多。根据监管要求，需要报送的项目包括银监会非现场监管数据、监管数据标准化（EAST）、客户风险统计报表、人行反洗钱数据、个人征信数据、企业征信数据、标准化存贷款数据、支付信息统计、理财与资金信托等10多项。由于各报送项目需要报送不同的数据接口格式，且每个报送系统数据量大、数据组织复杂，数据来源存在交叉现象，建设统一的监管数据报送平台已成为金融机构信息系统建设中非常重要的任务。
监管要求涉及业务全面、业务关系复杂，报表之间的校验关系复杂，数据一致性要求高，银行需要多部门配合报送。
在业务系统建设过程中数据标准不统一，导致监管数据抽取加工过程复杂，对数据存储和加工提出了较高的要求。
因此，采用先进的技术架构以及成熟的工具产品建立基于大数据计算技术的统一监管数据报送平台，可以极大的提高数据报送质量和效率，并有效减轻数据报送的工作量。
江苏农村信用社联合社决定，采用先进的技术架构以及成熟的工具产品建立基于大数据计算技术的统一监管数据报送平台。利用MPP数据库架构的横向扩展能力，实现承载数据量和计算能力的线性横向扩展；同时满足监管要求涉及业务全面、业务关系复杂，报表之间的校验关系复杂，大表关联操作较多的场景要求。
26.2解决方案
数据标准化报送系统采用GBase 8a MPP Cluster集群搭建，通过可配置的负载均衡机制，来调度和平衡各个节点的负载和并行处理过程，底层分布式架构对于上层应用是透明的，用户所面对的是同一个数据库系统，而不需要考虑如何调度其中某个节点的负载。
江苏农村信用社数据标准化报送系统架构图
系统架构描述如下：
数据产生层：是数据的来源，包括业务办理、内部管理过程中产生的数据，主要是指核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据。
数据交换层：作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换。数据不允许系统间点对点传输，所有系统对下游提供数据均通过数据交换层，数据交换层本身不产生数据，但可以对源数据做一些清洗处理。交换方式分为批量交换和实时交换，其中批量交换用于产生层与整合层、应用层间非实时的、大数据量的数据交互，实时交换用于系统间少量、实时或者准实时的数据交互。数据交换采用DATASTAGE工具进行数据的抽取、转换和加载过程，部署采用集群架构，不仅可以提高数据抽取效率，还可以避免机器的单点故障。
数据分析平台：是将数据按照一定规则进行整合后统一存储，以方便后续的查询和分析。数据整合层作为数据集中存储、整合的核心，实现了数据共享，避免了系统间数据重复存储和加工问题。
数据应用层：主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，它对整合后的数据进行深度分析，利用不同手段对数据处理结果进行展现，包括固定报表、多维分析、灵活查询等。
数据展示层：提供了机构、用户、角色的统一管理，并根据监管部门要求生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。
26.3应用效果
实施情况
原系统数据库是Oracle和DB2，新建系统使用5节点GBase 8a集群。并由原厂提供支持服务，完成数据迁移到GBase 8a集群，加载性能优化、跑批流程性能优化、查询SQL优化等，将GBase 8a集群性能调至最优，提供对报送系统的良好支撑。
效果及价值
高性能：完全相同的环境下，GBase 8a MPP 性能优于Hadoop 1.1倍；
高兼容：GBase 8a MPP 支持通用SQL语法和脚本，而Hadoop对于SQL语法、脚本或字符支持度不足；
易迁移：提供从Oracle、DB2迁移到GBase 8a MPP集群的迁移工具，简化应用人迁移操作。