深度分析云是中国移动总部集中经分系统的重要组成部分,负责历史数据存储与深度分析,用于汇集经分主数据仓库、B域、O域、M域数据,以及Hadoop云的互联网分析结果、采样数据,用以支撑各类开放式分析环境,合理分配数据空间、运算资源。
数据分布采用更为合理的多层结构,构建数据和应用的生命周期管理机制,规划进行科学部署。
深度分析云定位于集中经分系统的历史数据存储与深度分析,在确保数据一致性的基础上,对外提供自助分析、深度挖掘服务的支撑。本次建设需求,重点包括:
l 元数据管理、数据质量管理、系统管理服务;
l Sandbox应用的管理;
l 针对自助分析的各类数据挖掘,查询、报表、多维分析;
l 不良治理数据运算和分析展现;
l 与主数据仓库和Hadoop平台高效的数据传输。
集中经营分析系统由三个库构成,三个库分别为主数据仓库、GBase 8a MPP数据仓库、Hadoop云,各库通过独立的集群进行建设,三库之间数据通过ETL平台来进行调度和转移。
深度分析云是由GBase 8a MPP Cluster分布式数据库构成,集群节点数共计277个,其中包括272个数据仓库节点,1个监控节点及4个测试节点;13.3PB实际入库,每日增量9.7TB,数据来源于全国31省上传的业务数据。深度分析云作为存储数据的平台,由以下四类数据组成:
l 来自B域、O域、M域的融合数据;
l 来自非结构化数据,即Hadoop云的互联网分析及汇总的结果;
l 来自自助分析提供的沙盒数据、采样验证数据等;
l 来自数据集市数据。
数据规模为“12+1”月明细数据。
MPP数据库集群组成的深度分析云,重点包含如下功能:
l 实现底层结构化、非结构化数据的轻度汇总,并在汇总数据基础上实现多维分析、趋势分析、TopN分析、原因影响分析和What IF分析等;
l 通过海量的跨域数据间的关联计算实现深度分析与挖掘,生成准确的用户画像;
l 自助分析查询能力;
l 提供数据集市应用;
l 借用MPP数据仓库的OLAP数据处理能力,生成数据沙盒(Data Sandbox)。
l 自助分析:自助报表、多维分析查询实现秒级响应,解决大数据量查询效率低下问题,有效提升用户满意度;
l 动态扩展:系统可扩展能力强,支持集群动态扩展,且性能随着节点的增加而线性提升;
l 低投高效:GBase 8a MPP Cluster运行于低成本X86 PC Server,成本低廉,性能高效;
l 国产化:产品完全自主研发,国产可控,响应去IOE的发展趋势;
l 混搭架构支撑海量数据:通过分布式计算和存储以及Hadoop + MPP + 主数据仓库的混搭结构有效支撑海量数据。
地址:天津市高新区开华道22号普天创新产业园东塔20-23层 技术支持热线:400-013-9696 邮箱:info@gbase.cn
天津南大通用数据技术股份有限公司 ALL RIGHTS RESERVED. 津ICP备12002153号-7 技术支持:快帮云