核心数据仓库经营分析系统国产化替换项目
核心数据仓库经营分析系统国产化替换项目
项目概况
项目背景
流量经营已是河北联通战略转型的重点,原有的传统小型机+Oracle 的经分系统由于其成本与性能的限制,无法满足当前河北联通的数据处理性能要求。
河北联通采用 GBase 8a MPP Cluster 数据库作为底层数据平台,用 GBase 8a 建设核心数据仓库存储河北联通全域的高价值结构化数据,并通过对全域数据的关联分析计算,向平台应用层以及外围系统数据接口提供高度汇总的结果数据,同时直接支撑前台页面的报表查询和即席查询。
业务需求
传统小型机+Oracle 的经分系统由于其成本与性能的限制,无法满足当前河北联通的数据处理性能要求,随着后续更多业务平台的接入,省级经分的数据规模将达到PB级别,现有平台完全无法承载。为了实现对用户的精准画像业务,数据内容、互联网数据都将纳入统一数据平台中。在上述问题亟待解决的背景下,河北联通秉承“高效低成本”的指导原则,兼顾海量数据的存储及管理能力和海量数据的处理及分析能力,采用 GBase 8a MPP Cluster 数据库作为底层数据平台,建立起公司业务融合运营、能力对外服务的大数据平台。
解决方案
本项目使用二十余节点 GBase 8a MPP Cluster 数据库构建核心数据仓库,采用 GBase 8a 快速加载工具,将数据快速的加载到数据仓库中。用 GBase 8a 建设核心数据仓库存储河北联通全域的高价值结构化数据,并通过对全域数据的关联分析计算,向平台应用层以及外围系统数据接口提供高度汇总的结果数据,同时直接支撑前台页面的报表查询和即席查询。
河北联通大数据平台架构图
应用效果
实施情况
平台已部署数十节点(管理节点+数据节点),数据总量达数百TB ,库内数万张数据表。
效果及价值
高效低成本:通过使用廉价 X86 设备建立分布式集群,提供比小型机更高的处理性;
扩展更灵活:完全不受数据量与设备能力的限制,集群从8节点到12、24节点再到36节点,随需扩展;
数据更融合:全面融入省内各业务支撑系统的数据,数据保存周期更久;
迁移更安心:原厂工程师全面保障 Oracle 到 GBase 8a MPP 的数据与应用迁移,原系统零改动直接在 GBase 8a MPP上运行。