中国银行黑龙江分行大数据平台——支撑各业务部门报表系统
中国银行股份有限公司黑龙江省分行在大数据形势下,主动进行业务创新,搭建基于MPP关系型数据库支撑海量数据存储、分析、统计的大数据平台。MPP
价值体现
管理创新:改变数据架构模式,将所有业务模型数据汇集在数据库中,向所有业务部门提供报表服务。利用数据库的大数据复杂场景计算能力,可以配合公检法监管部门进行业务查询。
高性能:业务场景已得到全面检测,较Oracle跑批性能提升7到10倍不等,大数据量精确查询性能提升几十倍,低投入带来性能高收益。
高可扩展性:集群可支持多节点在线扩容,可以适应未来业务性能和数据存储的指标要求。
高可用:保障系统7*24小时持续运行,同时可以避免单点故障或系统维护造成停机使用。
解决方案
本项目搭建2×2节点规模集群,采用GBase 8a MPP Cluster大规模分布式并行数据库集群系统构建数据平台的核心数据管理层,形成全量数据的统一基础数据平台。目前的数据量是10TB,每天的增量是30GB数据,共1000多张表,最大表为百亿行以上数据,每天跑批4-5个小时。结合业务场景,配置1台加载机,4个计算节点。
需求分析
功能强大:支持数据迁移、数据加工、数据查询、应用连接的大集成;
高性能:对数据加载、数据导入导出、数据加工、数据拆分、查询等要求快速响应;
高可用:7*24小时持续运行和避免单点故障或系统维护造成停机;
高线性扩展能力:支持多台节点的支持在线扩容。
项目背景
中国银行股份有限公司黑龙江省分行在大数据形势下,主动进行业务创新,搭建基于MPP关系型数据库支撑海量数据存储、分析、统计的大数据平台。MPP数据库产品应用于各个业务部门的报表系统,以及配合公检法监管部门或客户的业务查询。