承德银行数据中台项目
项目概况
项目背景
随着各渠道数据的的不断增加以及既有数据的不断累积，承德银行原有系统已经不能满足当前综合数据分析的需求。为此，承德银行搭建Hadoop+MPP混搭架构的数据中台，在一期建设数据采集、数据预处理、数据存储、数据处理、数据分析、数据可视化等支撑能力为一体的平台为将来的数据中台进一步建设奠定基础。
业务需求
为解决用户各系统数据不共享问题及综合渠道数据分析及未来数据源扩展灵活性问题，中台一期项目需求主要包括：
数据开发能力：建设统一的数据交换、作业调度和数据开发等管理平台，更好进行技术管理，提升数据开发效率及数据流转效率；
数据应用能力：建设指标管理平台，实现指标在指标管理平台落地管理与查询；
建设数据贴源层：完成对业务系统数据进行采集、汇聚，尽可能保留原始业务流程数据，与业务系统基本保持一致，仅做简单整合或者增加标识数据日期描述；
建设数据模型层：基于源系统，按照我行数据标准建设统一数据模型，包括但不限于基础整合层模型、共性加工层模型，沉淀公共数据，实现数据标准落地，形成统一规范的标准业务数据体系；
建设指标汇总层：根据监管报表、数据应用和经营管理需求，梳理金融机构常见指标，形成具有接地气、前瞻性的指标体系，实现至少500个指标在指标管理平台落地；
历史数据导入：补追自2021年1月1日产生的主数据文件入库。
建设要求
采用加密技术进行通讯数据的加密；按照《承德银行数据仓库技术规范》，每日向数据仓库自动提供本业务数据，相关技术标准要满足《承德银行数据质量要求》；支持双机热备、双活等系统部署模式，如：主机出现故障无法对外提供服务时，备机要立刻自动接管，以保证系统连续性服务要求；能够通过增加应用节点的方式线性扩展处理能力。
解决方案
承德银行中台数据来源于业务平台、渠道、CRM等众多异构平台，数据融合是打通各个平台实现数据无缝共享的关键。通过南大通用 GBase 8a MPP Cluster 数据库构建融合数据的统一存储与管理平台，在平台上实现各渠道数据的统一管理，并按照《承德银行数据仓库技术规范》及《承德银行数据质量要求》实现数据归集及数据治理，完成数据中台的数据基础建设。
承德银行数据中台一期建设分生产环境和测试环境两个部分。生产环境：在5台服务器上，部署3个管理节点、5个数据节点的GBase 8a及2个管理节点、4数据节点的HADOOP；测试环境：配备3个混合节点的GBase 8a和3个混合节点的HADOOP。通过生产环境的GBase 8a数据库完成业务系统数据进行采集、汇聚、整理工作。透过基础整合层模型、共性加工层模型等模型，沉淀公共数据，实现数据标准落地，形成统一规范的标准业务数据体系，完成一期的数据治理。
图1- 1承德银行数据中台一期系统架构示意图
应用效果
实施情况
一期中台数据审查部分部署了3个管理节点、5个数据节点的GBase 8a及2个管理节点、4数据节点的HADOOP，二期根据业务扩展扩容3个数据节点。
效果及价值
数据统一管理：实现承德银行业务数据、渠道数据及CRM等数据的统一融合管理，为综合业务分析提供了基础；
实现了数据初步治理：通过融合及标准化清洗，完成了数据的初步治理，实现了人行数据初步治理的目标；
灵活的可扩展性：通过混搭结构，实现了全数据类型覆盖，为未来的进一步数据中台建设，打下了良好的基础。