人保财险数据平台国产化替代项目

PICC数据平台原系统建设在TD一体机平台上，软硬件紧耦合，使用和运维成本很高。目前存储容量和处理性能已达瓶颈，无法纵向扩容，扩容需要中断业

人保财险数据平台国产化替代项目

1项目概况

  • 项目背景

PICC数据平台原系统建设在TD一体机平台上，软硬件紧耦合，使用和运维成本很高。目前存储容量和处理性能已达瓶颈，无法纵向扩容，扩容需要中断业务。

本项目旨在通过采用MPP数据库产品来重构系统，通过大规模并行处理的架构，开放的X86硬件平台，建设具备分布式计算和水平线性扩展能力的大数据平台。按照应用场景的不同，构建独立平台，实现平台隔离，避免资源竞争。以解决目前中国人民财产保险股份有限公司数据平台存在的存储资源和计算性能不足的问题。

  • 关注问题

客户急需解决的问题如下：

  • ACRM系统同时在oracle和TD一体机上，数据流向复杂，系统依赖程度很高；

  • 目前存储存储容量和处理性能已达瓶颈，无法纵向扩容；

  • 日报最快T+2日更新，无法适应目前业务需求；

  • 近几个月的月报都需要到15日才能发布，有时会推迟到20日；

  • 细分工具每周更新一次，每次需要运行3天以上。

客户希望能够构建独立大数据平台，具备分布式计算和水平线性扩展的能力，解决目前数据平台存在的各种问题。

  • 建设要求

未来中国人民财产保险股份有限公司将形成TD一体机和MPP数据库共存的数据服务平台。

  1. 可以将运行于TD上的经营分析平台、车险分析和理赔分析等系统的部分功能迁移至MPP数据库上，减轻一体机的压力。

  2. 利用MPP数据库构建大数据资源中心，促进数据资源融合共享，提升数据资产运营管理能力。

  3. 将目前在Oracle和Informix系统上运行的数据分析系统移植到MPP数据库中，在大幅降低成本的同时，提高系统的运行效率，为中国人民财产保险股份有限公司的经营分析和业务发展提供更好的数据服务。

31.2解决方案

针对PICC的特点及建设规划，使用GBase 8a集群建设大数据资源中心，通过GBase 8a集群的列存储、智能索引、线性扩展、分布式并行计算等技术特性支撑用户的业务发展需求，解决TD一体机、Oracle面临的性能瓶颈和不能线性扩容问题。实现了数据分析的统一整合、统一管理、统一调度，为实现PICC的新目标打下了坚实的基础。

利用GBase 8a集群数据库构建大数据资源中心，促进数据资源融合共享，提升数据资产运营管理能力。整体系统的架构图如下：

 

PICC数据平台架构图

  
 

在Oracle和TD系统上运行的数据分析系统移植到MPP数据库中，在大幅降低成本的同时，提高系统的运行效率，为PICC的经营分析和业务发展提供更好的数据服务。

搭建基于GBase8a MPP Cluster的大数据湖平台，接入上游业务系统数据；逐渐剥离主仓业务，从集市入手逐渐降低TD主仓业务负载，剥离核心业务，从并行运行到逐步迁移替代。

3应用效果

  • 实施情况

目前PICC已完成生产集群100余节点安装部署，整体承载数据量达PB级。替换原数据库Oracle后，整体性能提升2~10倍，完成1000余个程序迁移工作。

  • 效果及价值

高性能：智能索引、全并行架构，支持极速查询分析，全面支持高性能查询分析场景。ACRM系统数据库从Oracle + IBM P780服务器迁移到GBase 8a集群+X86服务器上，在硬件配置比接近1:1的情况下，性能提升2-10倍以上；

可扩展：开放架构，可实现按需水平扩展：Shared-Nothing架构，支持不中断业务在线按需扩展；

高可靠：全组件HA，无单节点故障：联邦架构，集群管理节点、数据节点等组件全HA设计；支持双活集群，全方位保障系统的可用性；

易管理：一键节点替换：提供极简式节点硬件故障处理功能；集群间工具DBLink：实现两套集群间数据可互访；集群管理工具和监控工具，对多套集群集中式、图形化操作。

原厂服务：原厂为PICC提供TD数仓迁移，Oracle迁移的解决方案及专家支持服务。