您的当前位置:首页 > 方案及案例 > GBASE行业解决方案

重庆移动12582基地经分系统——海量数据快速查询响应

12582基地是中国移动集中建设、服务全国的公益性民生信息服务平台。随着12582基地业务规模和种类的不断拓展,数据规模以前所未有的方式增长,数据类型呈现多样化发展的特点,传统的数据管理能力已经不能满足现有业务发展的需要,因此提升数据的集中存储和数据资产管控能力迫在眉睫。


此外基地业务对于数据的开发和利用也呈多样化要求发展的趋势,表现在数据标签的生成、数据挖掘模型的建立、KPI指标的展现与监控等等。基于这种发展要求,重庆移动12582基地也非常迫切建立新型架构的用户数据分析平台以满足现有业务的发展需要。目前使用基于小型机+传统关系型数据库构建的经营分析系统,这种传统架构对于基地数据分析等大数据应用存在着扩展性差、性能随数据增加而下降、系统无法灵活变更数据模型以及数据库优化代价高等关键问题。


12582基地用户数据中心分析平台为实现有效聚合基地数据,实现海量数据高效处理的目标,本期建设采用先进的仓库架构、模型及软件功能,进行规范的基地数据资产管控,实现内部数据有效整合。

12582基地用户数据中心分析平台实现内部数据的有效整合,通过自助取数、API等多种对外开放能力,将标签、指标能力对外进行提供。该平台为角色用户、业务提供了面向市场的营销支撑能力,如下:


l  实现数据的集中存储及数据资产的集中管理;

l  实现与业务平台和支撑平台的上下行数据接口;

l  实现与重庆业务大数据平台的接口。


作为本项目所实现的分析业务目标:

l  指标展现(KPI、报表),数据指标:6个业务,共135指标;

l  数据标签:6个业务,共734标签;

l  数据挖掘:6个业务,每个业务1个模型,共6个模型;

l  标签对外服务:通过自助取数、API等多种形式对外进行标签对外服务。


作为系统数据仓库承载的总数据规模,数据承载60TB数据量,每日入库数据为200GB。整个分析业务相关的数据涉及近10万张表,数据每日的日次处理需要在次日业务时间(8:30)开始前完成。

系统技术架构分为采集数据接口、数据计算和存储、数据指标和标签服务、数据共享服务和数据资产管理等。


本期平台架构如下包括如下几部分内容:


l  数据接口:本平台聚合现有业务数据,包括:大数据平台、核心平台、以及12582各业务平台数据等;接口数据包括从各个业务系统收集的“和天气”、“田园生活汇”、“和工作”、“百事易”、“农情气象”、“政务易”、“核心平台”、“营销支持”、“12582网站”、“热线”、“12582WAP”等各类业务数据;


l  数据计算和存储:整体仓库采用MPP数据存储和计算框架实现高并发、高性能的数据处理能力。数据仓库由ODS、DWD、DW、DM组成,形成面向应用的数据仓库模型架构;


l  数据应用:系统对外提供指标和标签服务;


l  数据共享:在服务提供形式上,对外实现API、文件、消息三类数据共享方式;


l  数据资产管理:提供数据的统一调度、统一监控、统一分发。


作为本系统的数据存储和管理层的数据仓库平台,采用GBase 8a MPP Cluster数据库产品,在MPP内部存储和管理从各个系统收集并清洗过的ODS数据,并在ODS之上利用MPP数据库强大的复杂关系处理能力、数据关联运算能力,进行逐层加工,形成库内DWD、DWA的数据仓库层,并从数据仓库层的数据导出DM数据集市数据供上层应用实现指标运算、标签算法和自助取数处理。


对于ODS层的94156张表、DW层的7219张表,系统在每天夜间2点完成各类数据入库处理后,能够保证在次日的8点半业务时间开始前完成所有的指标计算和标签生成工作,大大提升了数据处理的能力。


作为本期的系统建设规模,导入了由6台GBase 8a Cluster节点构成的MPP集群,对于60TB的数据仓库规模,平均1个节点承担10TB以上数据。


image.png

l  快速上线:GBase 8a MPP支持SQL92标准,语法上与传统的基于DB2的数据仓库能够最大兼容,所以缩短了应用开发的周期,节约了项目人力投入,项目从开工到上线实施仅用了3个月;


l  支持海量数据:GBase 8a MPP承载了整个基地业务分析系统的核心数据仓库作用,负责从ODS层数据到DWD、DWA和DM数据集市层的逐层数据加工,通过MPP数据库强大的分布式关系型执行计划实现了高度并行的关系型处理,和I/O并行效果,实现了高效的复杂关系运算和数据关联运算能力,保证了对海量多样的业务数据的整合处理能力和及时的数据加工能力;


l  快速查询响应:对于本次项目的主数据仓库,需要数据仓库同时具备后台的指标计算能力,也需要能够快速的响应用户的对外查询需求,而GBase 8a MPP作为一种MPP数据仓库平台,通过列式存储、智能索引以及处理引擎与存储结构的高度耦合,大大提高了数据定位效率和处理并行度,所以在GBase 8a MPP的一种平台上,既可以实现高效的离线批处理模式,也可以高效处理例如自助取数等的交互数据处理模式。

地址:天津市高新区开华道22号普天创新产业园东塔20-23层 技术支持热线:400-013-9696 邮箱:info@gbase.cn

天津南大通用数据技术股份有限公司 ALL RIGHTS RESERVED. 津ICP备12002153号-7 技术支持:快帮云

扫码关注 官方公众号
扫码关注 官网微博