云南移动经分系统——开放、稳定、动态扩展
云南移动经分系统——开放、稳定、动态扩展
项目背景
近年随着云南移动的业务量激增,企业的业务分析系统不断面临日益增长的数据处理规模的压力,并且以精细化、个性化服务的理念做驱动,运营商企业对经营分析的处理模型愈加复杂,由此业务对系统的数据承载能力和分析处理能力提出了更高的要求。基于以上要求,中国移动云南经分大数据平台改造工程,计划引入MPP 关系型数据库来实现整体性能提升。
解决方案
MPP 经分仓库数据库和 DB 构建的传统经分主库共同组构为实现云南移动经分业务的客户分析类、服务分析类、渠道分析类等各类主题域分析的统一数据分析平台。为使企业构建面向更大规模数据和更复杂的挖掘分析处理打下平台建设基础。做为本项目的经分数据仓库的扩容思路,扩容后经分系统下的各个平台要素之间的数据处理具体流程如下:
从 BOSS、计费、CRM 等业务系统收集业务原始数据;
经传统系统下的 Informatica、SAS 等 ETL 工具对数据进行清洗和转换;
将清洗后数据通过 ETL 工具的加载功能分路传送到当前的 Oracle/DB2 经分
主库和 MPP 接口机上。接口机完成最终的数据向 GBase 8a MPP Cluster 数据库的加载。
数据平台划分为由传统集中式数据库与 MPP 分布式数据库共同构建的集成式数据仓库平台。新的数据平台可以融合 MPP 分布式数据库的可扩展优势,也可集成传统数据仓库平台上对高价值密度数据的强一致性等各类数据可靠性保证。
云南移动经分系统架构图
应用效果
低成本:GBase 8aMPP Cluster数据库运行于低成本的X86PCServer,有效节省硬件投入成本,将扩容成本降为原来的1/10左右;
动态扩展:GBase8aMPPCluster数据库节点的水平横向扩展模式,动态扩展无须停止服务,保证服务连贯性;
高可用:GBase 8a MPP Cluster 数据库提升整个系统的协同效率,基于安全组的备份策略,能够保证某节点在发生故障时,不影响系统对外提供服务的连续性