广发银行Sybase IQ数据库迁移项目
项目概要
广发新报表服务平台建设构建一套全新国产化MPP 数仓平台,满足以下需求:
高性能、高扩展性、高稳定性
精准分析平台数仓数据迁移
迁移现有Sybase IQ数据到新数仓平台、14TB压缩前容量(高频事实表与维表)、仅迁移数据,数据模型维持不变
实施服务
负责完成新平台构建、对接新平台业务、数据迁移服务
五层架构描述:
数据来源层:广发银行的各个业务系统
数据交换层:作为源数据与数仓/数据湖的中间数据交换层,兼容各种数据抽取工具
数据处理层:该层分为数据处理和数据加工:数据处理层采用湖仓一体化架构 :数据清洗/粗加工在hadoop上完成,借助GBase 8a数据融合能力,处理后数据透明入仓(不落地)
数据加工层:数据经过清洗加工后,进入数据主仓,数据在主仓完成基础和共性数据加工,主仓由GBase 8a承载
数据集市(模型)层:完成数据模型的建立和处理, GBase 8a支持各种数据模型(关系、维度模型)。
应用&展示层:本层为数据应用系统,包含报表系统和营销系统以及其它新业务平台。 GBase 8a支持各种BI平台(PowerBI、Cognos、帆软、永洪 、SmartBi 等 )
项目使用分布式数据库GBase 8a建设报表服务平台,解决报表统计耗时长、数据库扩展困难等问题,对外提供平台化开发能力,提供自定义报表服务、自助报表数据下载等功能。