杭州交通管理指挥平台二期项目——低成本数据仓库支撑海量数据
价值体现
l 海量数据存储：支撑PB级数据的存储和处理，实现条块融合和跨警种信息资源的归并整合，为上层应用和数据挖掘提供基础支撑；
l 高性能：克服传统的关系型数据库高成本、运算时间长、分析结果及业务报表滞后等劣势，将大数据量业务数据处理的性能提升10倍；
l 辅助科学决策：为科学决策提供了客观依据，确保动态信息及时掌握；
l 低成本、高扩展：最高1:20的压缩存储，硬件为X86 PC Server，有效节省硬件投入成本；架构为Shared Nothing扁平架构，线性在线扩展，解决传统数据库技术架构无法扩展问题。
解决方案
物理层采用X86 PC Server，软件层采用GBase 8a MPP Cluster 构建交通管理指挥大数据平台，整个集群分为6集群节点+1台加载节点。每个2个节点组成一个SafeGroup，共3个SafeGroup。
杭州交管局需要将2010年之后所有主要的业务数据，包括警情、情报、违法、卡口过车记录、浮动车、微波、SCATS（信号机）、路段状态、动态地图坐标等数据以及在此基础上产生的衍生数据进行汇总和分析。
对于后续的的数据，通过数据库链接或ETL工具从其他系统中将数据加载入GBase 8a MPP Cluster，ETL作业数量最多同时可达数十个，以时间调度为主。
需求分析
l 数据来源多样性：需要从杭州交管现有的十几个系统中抽取加载数据，数据异构化严重；
l 统一性：由于现有的以Oracle为基础构建的交易型数据库性能的限制，许多分析无法做成。另外，数据条块分割，信息关联共享程度不高，缺乏深度挖掘分析。需要建设支撑海量数据、统一管理、统一调度的数据仓库平台；
l 兼容性：需要在已建成的业务操作环境下，提供大数据技术下的智能化辅助决策和分析功能，支撑复杂分析计算，满足数据分析型应用的需求；
l 前瞻性：适应未来五年大数据平台规划，具备不断扩容的能力。
项目背景
随着杭州交通的发展，机动车数量迅猛增长，交通流量持续攀升。同时与此相关的警情、车流量、路网状态、违法记录、通行记录等交通信息也快速增长，与交警业务相关的数据越来越多，数据总量巨大。如何高效的分析这些数据，挖掘出数据背后隐藏的价值，从而提高交通设施利用率，提升交通管理水平，改善交通安全成为了亟待解决的问题。