中信证券国产分析型数据库采购项目
项目概况
项目背景
信息技术应用创新发展是目前我国的一项国家战略,也是当今形势下国家经济发展的新动能。发展信创是为了解决本质安全的问题。本质安全也就是将其变成自己可掌控、可研究、可发展、可生产的,通过发展信创产业构建自己的IT产业标准和生态,使得IT产品和技术安全可控。
为响应国家发展战略,中信证券股份有限公司将对外报送数仓系统进行数据库国产化替代进行立项。在中信证券信息技术中心的统一部署下,启动中信证券国产分析型数据库(对外报送数仓)系统的建设工作,报送数仓的主要模块包括:数据采集、模型转换、报送指标计算以及报送管理等。当前对外报送数仓是一个数个节点的Greenplum一体机的数据库。本次采购目标是实现对外报送数仓项目的全面国产化,包括服务器、操作系统及数据库的国产化替代。
关注问题
本项目选型产品需要满足如下要求:
成熟案例要求:所选产品要有典型成功案例,证明已经经过大规模数据的持久验证;
三方评测要求:在国家认可的权威第三方机构如工业和信息化部计算机与微电子发展研究中心(简称中国软件测评中心)或中国信息通信研究院(简称信通院)完成国产服务器、国产操作系统上的兼容性认证,并提供有测试结果的真实可信的证明文件复印件;
国产服务器兼容:所选产品要有在国产服务器上运行的成功案例,或者做过兼容性验证,有兼容性适配的证明文件;
国产操作系统兼容:所选产品要有在国产操作系统上运行的成功案例,或者做过兼容性验证,有兼容性适配的证明文件;
数据、数据库对象、应用代码大部分迁移时,能够使用自动化迁移工具迁移。
建设要求
完成国产替代,包括国产服务器、国产操作系统及国产分析型数据库的替代,满足兼容性及性能要求。
解决方案
原对外报送数仓是一个数个节点的Greenplum一体机的数据库,集市采用oracle搭建,本次采购目标实现国产化,包括服务器、操作系统及数据库的国产化替代。
新系统采用GBase 8a MPP Cluster集群搭建,GBase 8a MPP面向分析型应用领域,以列为基本存储方式和数据运算对象,结合列数据压缩处理、并行处理、快速智能索引等新型数据处理技术,在查询、统计、分析以及批量加载性能上具备突出的优势。
交易数据通过数据同步层的informatica批量同步加载至数据管理层的GBase 8a MPP集群。需要支撑采集任务(11个系统19个任务数百张数据库表)、转换任务(简单归历史转换任务数百个),计算程序(8个转换任务组,共计数百个)。
中信证券对外报送数仓系统架构图
应用效果
实施情况
本项目共部署集群,共数十个节点,其中数个管理节点,库内数据达数十T。
效果及价值
成本可控、国产化、可扩展:通过使用国产设备建立分布式集群,替换国外Greenplum一体机,降低维护成本,现实系统未来扩展成本可控,采用全国产可控组件实现自主可控,保障系统信息安全;
开放架构,按需水平扩展: Shared-Nothing架构,支持不中断业务在线按需扩展;
原厂服务:原厂全方位产品服务,完成数据对象迁移、数据迁移、应用迁移,保障对外报送数仓项目升级改造完成。