中国重汽集团大数据平台替换改造项目
项目概况
项目背景
中国重汽集团在2020年开始构建企业级大数据平台，业务涵盖销售、服务、人力资源、车联网、物流和生产等，原平台采用Oracle+Hadoop的方式构建，DW层主要采用Hadoop的hive+hdfs的离线数据计算的技术路线，部分业务由Oracle承载；DM层主要由Oracle+帆软和Impala+Kudu+帆软的方式对外提供数据服务。
随着时间的推移，大数据平台的应用、数据量和并发访问量越来越高，海量结构化数据的查询已成为瓶颈，质量部现有280GB数据量的指标数据查询返回结果已经大于10秒，已经不能满足业务展现的需要，亟需可容纳海量结构化数据的数据库产品改进业务现状。
业务需求
短期需求：满足业务部门（销售、服务、人力资源、生产、物流、车联网等）对大数据平台新增业务的承载能力需要；
长期需求：融合各类数据，基于实时流处理技术、内存技术、租户和容器技术，通过新一代融合平台技术架构逐步提供完整的PaaS服务能力，逐步推动从数据平台建设到数据开放运营的过程，实现自主业务和开放业务的百花齐放。
建设要求
满足现有平台的迁移能力，快速完成由Oracle到国产MPP数据库的过渡；
满足系统数据存储结构化数据不小于10TB；
满足并发不小于200的情况下，查询实现秒级响应；
满足可承受月活、日活人数3000/次的系统承载压力；
满足中国重汽未来大数据平台技术发展路线。
解决方案
一期工程采用南大通用 GBase 8a MPP Cluster 数据库替换Oracle重新构建大数据平台结构化数据主仓。本项目一期部署2个节点，后期客户进行扩容。
GBase 8a 大规模分布式并行数据库集群系统处理结构化数据，能够适应OLAP计算模型的业务场景，完成数据的查询、分析。通过GBase 8a MPP集群分布式计算能力，解决了原有Oracle平台单点故障和性能瓶颈问题，采用全无共享架构，为客户提升了信息处理能力和水平，提升了客户数据分析时效性和使用体验。实现重汽大数据平台架构优化的同时提升海量结构化数据存储和计算能力。
图1 业务架构图
应用效果
架构优化：一期工程实现中国重汽大数据平台Oracle数据库的替换，满足大数据部海量结构化数据的存储、分析和业务支撑，为大数据平台技术架构的进一步优化奠定基础；
低成本、高扩展性：基于X86 PC Server国产化平台的可扩展架构，对比Oracle只能纵向扩展的能力，更加节省投资，符合长期规划；
高性能：入库、汇总、查询、处理速度比传统数据库提升 10倍以上，存储能力提升至PB级；
易用性：GBase 8a数据库提供统一的接口、SQL语法，具备丰富的企业管理器和运维监控工具，对开发和运维人员门槛较低。