黑龙江省交通厅大数据平台建设项目
项目概况
黑龙江省交通厅大数据平台旨在充分利用交通厅数据中心网络基础设施，运用先进的数据对接技术，整合各个业务系统相关信息资源，打造一个数据集聚、目录完整、主题鲜明、功能便捷、服务周到的省级交通大数据服务平台。
该平台作为全省交通信息资源枢纽，将打破部门壁垒，整合城市交管行业、交通运输行业等行业数据资源，并汇集公路局、路政局等企事业单位和互联网资源等各类交通数据，实现多源异构数据的融合、共享、分析、计算和交互，完成交通信息的综合和深层次的挖掘利用，为高质、高效的交通管理和服务提供后台支撑。
解决方案
黑龙江省交通厅大数据平台共部署4节点，数据总量超8TB ，每日增量50GB以上，近8千张数据表，2000多个存储过程，300并发。目前平台已经正式上线，进入系统稳定期。过后将承担黑龙江全省交通行业所有二级部门的数据访问支撑任务。
大数据平台整体技术架构由如下4部分组成：
数据源：大数据平台的数据资源包括省级数据资源总中心和公路管理、道路运输管理、航务管理、综合政务数据资源分区。
数据对接层：主要作用是通过对各数据源的数据进行采集，然后通过数据清洗、比对等过程，实现数据的导入，汇总、整理、查询相关数据。本平台中数据对接主要完成两方面的任务：一、完成省厅数据仓库的数据集成。省厅数据仓库主要从各数据分区中抽取交通行业管理部门基础数据、主题数据和可共享业务数据；二、实现公路管理、道路运输管理、行业管理、综合政务等各领域内的业务系统中抽取有用数据，经过清洗转换后加载到分区数据仓库，以支持本领域的数据统计分析管理。
数据资源层：包括数据仓库，以及共享信息库、规则库、模型库、元数据库、非结构化数据元数据库等支撑库。其中GBase 8a MPP Cluster 集群，主要用于存储数据整合后的全部数据，包括基础数据库、业务数据库、主题数据库、共享数据库等，以及根据分析业务的需求划分的多个数据分析专题库，如高速公路运输出行规律及运行监测、高速公路安全事故监测、长途客运运行监测等专题库。
应用层：包括应用支撑系统和业务分析应用，应用支撑系统为上层应用提供各类引擎，包括即席查询、多维分析、交互式图表、交互式报表、地理信息引擎、权限管理、语义映射、模型设计等，支撑上层应用开发；业务分析应用基于可视化的数据分析系统之上建设基于数据专题的分析应用，包括统一查询、综合分析、数据预测及其它业务类分析。
图1 大数据分析平台业务架构图
应用效果
黑龙江省交通厅引入 GBase 8a MPP Cluster 集群建设交通大数据平台，实现了技术和业务方面的双重价值。
建设成本大幅降低：全平台基于中低端X86服务器打造，采用1:8入库数据压缩有效利用了本地存储空间，大幅节约了数据存储成本。低廉的硬件成本为后期数据平台的扩容预留了充足的预算空间，随着数据平台承载数据量的提升，GBase 8a Mpp的高性价比将得到凸显。
高可用性：GBase 8a MPP Cluster 的多级高可用技术全面保护黑龙江省交通厅大数据平台的多种核心数据，确保系统7×24 小时稳定运行，无单点故障风险。
安全可控：核心数据采用掌握完全知识产权的国产分布式数据库产品，具备自主研发，安全可控的特性，全面提升交通存量数据的数据安全和业务安全。