客户案例

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

山东联通大数据平台——整合资源、数据共享

项目背景

山东联通大数据项目为新建大数据平台,初步完成大数据支撑平台搭建,并进行B域数据整合。同时,具备对B域各类数据源的采集、分析、处理能力,具备数据聚合和数据标准化能力,具备数据服务和数据管控能力,增强对外服务及支撑水平。山东联通通过构建大数据平台,实现资源整合优化、节省整体投资、统一数据采集及数据加工、统一数据共享及服务、提高企业运营效率、最大化释放数据价值,最终实现“ 一点存储、统一管控、多点应用、体现价值”的目标。 

需求分析

通过本次山东联通大数据平台建设,初步完成大数据支撑平台搭建,具备对B域各类数据源的采集、分析、处理能力;具备的数据聚合和数据标准化能力,具备数据服务和数据管控能力,增强对外服务及支撑水平。具体体现在以下几点需求的实现上:

  • 大数据平台搭建:构建分布式计算与存储平台,包括数据采集、数据转换、数据装载、实时数据处理模块、准实时数据处理模块以及批量处理模块;

  • 数据整合:核心BSS数据汇总,整合现网系统中BCV、市分数据池、前置机、数据集市以及cBSS系统数据至大数据平台;

  • 接口整合:统一省内、集团数据传递接口。省内接口整合,包括BSS与经分、网格、客服等系统间的接口整合;集团接口整合,包括BSS对集团B-BSS、ECS、总部CRM、总部PRM以及经分对总部经分的统一接口整合;

  • 平台应用及管理功能:计算能力、数据能力对内部各系统实现共享,结合大数据平台存储量大、处理能力强的特点,完善经分客户画像;建立数据质量监控平台,通过对采集层数据、处理层数据及关键指标等有效监控,实现数据质量闭环管理。

系统架构

本次系统利用BDI统一ETL平台,进行数据的抽取和统一清洗和加工,BDI经过清洗后的数据统一载入到由GBase 8a MPP构建的MPP分布式数据库平台内,MPP作为各种数据的收集和整合中心,保存从各种业务平台收集的数据,并提供给6个厂家,和17个地市作为大数据供给者,这些厂家和地市在MPP数据库上执行各自的业务。扩容前MPP的日增数据量为1.6T,数据量是60TB,8个节点,3台加载机。经过1次系统扩容,目前为20个节点,3台加载机,扩容后数据总量为150TB。

在 BDI统一ETL平台之下,包含具有云化ETL能力的Hadoop平台,此Hadoop平台存储所有接口数据文件,BDI每两小时扫描一次数据文件是否到位,如到位从HDFS中取出数据到GBase 8a MPP加载机,同时BDI执行加载机上的加载脚本,进行入库操作,通过此方式实现BDI的Hadoop平台和MPP平台之间的能力接口。

价值体现

  • 高扩展:通过GBase 8a MPP的扩展能力,构建分布式计算与存储平台,集成和整合了B域的各类数据源,为厂商和地市应用提供了强大的可扩展的数据共享平台;

  • 高集成:通过BDI统一ETL平台和GBase 8a MPP数据库能力集成,同时实现MPP数据库与Hadoop的处理能力的混搭,实现了从数据采集、数据转换、数据装载、数据处理的一系列的共享的集合;

  • 高并行:通过GBase 8a MPP数据库的列式存储,智能索引等专门为大数据处理实现的存储机制,以及GBase 8a MPP加载机高效并行的加载能力,实现了各类接口数据对MPP共享数据平台的准实时的数据入库能力; 

  • 高混搭:通过基于Hadoop + MPP的分布式计算架构的混搭,使平台的计算能力、数据存储能力得到可扩展的显著提升,实现了各类海量数据的无丢失共享,结合大数据平台存储量大、处理能力强的特点,完善经分客户画像。