北农商项目-数据仓库平台替换项目
项目概况
随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,发现数据价值,成为企业经营的新趋势和迫切诉求,数据仓库平台是企业的重要数据分析系统,在数据收集、数据整合、数据分析、数据应用等方面发挥了核心作用。在此背景下,北农商行为推进数字化转型发展,提升信息技术体系自主可控水平,确保信息技术产品供应链安全,决定进行数据仓库平台信息技术应用创新改造。
我行数据仓库平台2.0从2018年上线以来,已运行6年时间,目前可基本保持平稳运行。随着业务发展,数据规模迅速增长,下游数据接口、报表、监管报送等业务应用不断增加,使得我行建立在Oracle Exadata一体机上的数据仓库系统在容量和性能等方面面临更大的问题和挑战,这些问题已直接影响数据仓库系统的数据服务能力,也制约着数据仓库的进一步发展。
目前Oracle Exadata一体机已使用空间95T左右,接近100T的数据备份限制,随着数据量的持续增长,数据备份面临一定的风险。另外随着业务量的增加,跑批时长也在逐渐增长,很难满足下游系统以及报表等的时效性要求。
解决方案
新平台基于MPP大规模并行计算框架,采用南大通用GBase 8a分析型数据库。数据分布在多个节点上,可以并行执行计算;节点内具有列存储技术,可以创建智能索引、列并行处理、高效压缩,提高批量效率;Shared Nothing架构,可以进行在线扩展以及透明的数据分布;管理节点实例多活冗余、计算节点实例冗余,具有高可用性;可以根据数据资源以及计算资源动态扩展,适应未来业务需求。
采购数据仓库信创数据库产品授权,部署在我行生产环境、测试环境、开发环境上,生产环境15台计算节点、测试环境3台计算节点、开发环境3台计算节点。
应用效果
新系统体现完善的性能和本地服务优势。
1、高可用能力
提供完善的高可用机制,确保各数据中心之间的数据能够同步,并提供高可用系统架构、环境部署、环境搭建、资源分析、系统设计等技术方案支持。
2、资源复用能力
支持多租户使用,而且不同租户之间的资源使用完全隔离。
3、图形化及自动化管理能力
拥有图形化数据库监控管理工具和自动化运维工具,具备数据库资源分配、容量管理、安全控制、性能监控、故障报警、数据备份、主从切换、灾备切换等功能。
4、在线资源管理能力
具备数据库资源的在线扩容、缩容等功能。
5、数据保护能力
提供多种数据备份方式,至少包括物理备份和逻辑备份两种,并支持在线验证备份数据准确性和可用性。