客户案例

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

中国移动总部集中经营分析系统——深度分析云助力中移动经营决策

深度分析云是中国移动总部集中经分系统的重要组成部分,负责历史数据存储与深度分析,用于汇集经分主数据仓库、B域、O域、M域数据,以及Hadoop云

价值体现


自助分析:自助报表、多维分析查询实现秒级响应,解决大数据量查询效率低下问题,有效提升用户满意度;


动态扩展:系统可扩展能力强,支持集群动态扩展,且性能随着节点的增加而线性提升;


低投高效:GBase 8a MPP Cluster运行于低成本X86 PC Server,成本低廉,性能高效;


国产化:产品完全自主研发,国产可控,响应去IOE的发展趋势;


混搭架构支撑海量数据:通过分布式计算和存储以及Hadoop + MPP + 主数据仓库的混搭结构有效支撑海量数据。


解决方案


集中经营分析系统由三个库构成,三个库分别为主数据仓库、GBase 8a MPP数据仓库、Hadoop云,各库通过独立的集群进行建设,三库之间数据通过ETL平台来进行调度和转移。


图片 1.png


深度分析云是由GBase 8a MPP Cluster分布式数据库构成,集群节点数共计1186个,其中包括1期266节点个数据仓库节点,2期920节点;13.3PB实际入库,每日增量9.7TB,数据来源于全国31省上传的业务数据。深度分析云作为存储数据的平台,由以下四类数据组成:

来自B域、O域、M域的融合数据;

来自非结构化数据,即Hadoop云的互联网分析及汇总的结果;

来自自助分析提供的沙盒数据、采样验证数据等;

来自数据集市数据。

数据规模为“12+1”月明细数据。


MPP数据库集群组成的深度分析云,重点包含如下功能:

实现底层结构化、非结构化数据的轻度汇总,并在汇总数据基础上实现多维分析、趋势分析、TopN分析、原因影响分析和What IF分析等;

通过海量的跨域数据间的关联计算实现深度分析与挖掘,生成准确的用户画像;

自助分析查询能力;

提供数据集市应用;

借用MPP数据仓库的OLAP数据处理能力,生成数据沙盒(Data Sandbox)。


需求分析


深度分析云定位于集中经分系统的历史数据存储与深度分析,在确保数据一致性的基础上,对外提供自助分析、深度挖掘服务的支撑。本次建设需求,重点包括:

元数据管理、数据质量管理、系统管理服务;

Sandbox应用的管理;

针对自助分析的各类数据挖掘,查询、报表、多维分析;

不良治理数据运算和分析展现;

与主数据仓库和Hadoop平台高效的数据传输。


项目背景


深度分析云是中国移动总部集中经分系统的重要组成部分,负责历史数据存储与深度分析,用于汇集经分主数据仓库、B域、O域、M域数据,以及Hadoop云的互联网分析结果、采样数据,用以支撑各类开放式分析环境,合理分配数据空间、运算资源。数据分布采用更为合理的多层结构,构建数据和应用的生命周期管理机制,规划进行科学部署。