1 项目背景

随着中国移动各项业务的不断开展和深入，经营分析系统和大数据专题分析平台的建设将围绕经营决策工作提供更加全面,深入,高效的数据展开,在这一背景下运营商企业不断推进B域、O域、M域的数据融合，传统经分系统和大数据平台也随之需要承载更大的数据量和业务量。

此项目就是针对日益加大的山东移动的经分数据压力和各类专题分析场景的压力,实施了基于X86 PC Server的大数据平台云化改造项目，通过基于Hadoop的ETL平台和基于MPP数据仓库平台的混搭融合，顺利地支撑起山东移动大数据平台历史海量数据的存储和各类大数据专题分析处理的需求。

2 需求分析

(1)    数据规模大并且增长快速

• 活跃用户7200万，系统需要采集流量分析相关的数据。日均数据量超过2.1T；

• 数据总规模增长迅速，正向PB级迈进；

• 作为未来趋势，系统计算处理能力及存储能力还面临不断扩展的需求。

(2)    现有系统响应提速

• 系统的并发和负荷较大，急需提高在高度并发条件下的响应能力；

• 提高对包括用户标签等的宽表间的结合计算能力；

• 缩短从源数据抽取到数据报表层生成的数据生产时间。

(3)    数据高可用性需求

• 对于包括日处理，月处理，经分，报表，集市处理的各类经分处理，由于系统故障而发生的延迟不得超过1个工作日；

• 对于基于X86 PC Server的平台架构，系统需要具备高度的容错和自律恢复能力。

3 解决方案

整个系统架构采用基于Hadoop ETL平台与MPP经分主库的混搭结构，处理和存储来自/B/O/M域的跨域数据。

本项目的MPP集群环境根据功能需要分为三部分，分别为26个节点的“原经分库”和72个节点的“新经分库”和40个节点的“大数据平台”。先在Hadoop ETL平台进行数据的结构化、清洗，数据的轻度汇总等；之后再通过GBase 8a MPP Cluster的数据分发工具将Hadoop ETL输出的数据加载至MPP分布式数据库；作为经分系统的数据基础平台，GBase 8a MPP Cluster处理从数据层到共享层之间数据加工和各层数据之间的转换；最终经分主库内的高度汇总结果导入至Oracle传统库，经由传统库将数据呈现到现有的报表和图形化应用界面上。

4 价值体现

• 实现深度精细化业务分析：高效的数据分析能力帮助客户应对复杂性强、效率及实时性要求高的场景，有效管理海量数据，实现对各类数据的多维深入分析，准确挖掘数据价值，帮助客户实现交往圈和重入网识别、WLAN准实时营销、CI自助分析等主题应用；

• 混搭架构支撑海量数据：通过分布式计算和存储以及Hadoop + MPP的混搭结构有效支撑海量数据；

• 低投高效：GBase 8a MPP Cluster运行于低成本X86 PC Server，新系统性能与原系统相当（执行时间都约为10小时），但新系统整体成本降为原来的1/10。