广西移动大数据平台IOE替代升级改造项目——混合架构助力系统升级
广西移动大数据平台IOE替代升级改造项目——混合架构助力系统升级
项目背景
广西移动用户与业务不断发展,经分系统的数据量与日俱增。在这种背景下,为满足不断扩展的数据量和业务量要求,广西移动决定对其NGBASS系统进行云化改造。通过使用Hadoop与MPP等x86云化技术,实现经营分析系统的去IOE化,以达到快速处理大规模的数据,系统有能力持续的扩容等目的。
需求分析
广西移动的需求在于:使用目前比较成熟的云化技术,将原有经分系统使用小型机处理的各类数据完全放到x86平台上处理。随着业务的不断发展,对今后4G的统计分析将全部使用云化平台处理,届时需要对云化平台进行在线扩容。
解决方案
广西移动的数据量非常庞大,每天的新增数据在1TB以上。整体解决方案使用了87台x86服务器作为计算节点搭建了一个GBase 8a MPP Cluster集群,GCluster/GCWare为11个节点集群,GNode为76个节点集群,目前总数据量为610TB。
在底层使用了Hadoop平台作为ETL系统,将BOSS、客服、网站等接口数据先入到Hadoop平台中,在其内进行数据清洗转换。数据在Hadoop平台上也进行少量的汇总工作,将ODS层的数据放到Hadoop平台上进行汇总,减轻数据仓库的压力。
由GBase 8a MPP Cluster构成的数据仓库,不仅承担了整个数据仓库的所有模型建立、数据汇总等工作,也承担了数据集市的功能。外部用户可以访问集群,对有权限的数据进行自助访问和分析。
价值体现
l 高性能:入库、汇总、查询速度比传统数据库提升10-20倍;
l 与Hadoop整合:易与Hadoop平台进行接口,快速的进行数据交换;
l 低投高效:GBase 8a MPP Cluster平台的建立,成本仅仅是相同计算能力小型机成本的1/10。