气象雷达数据共享平台实时传输系统项目
项目概况
项目背景
国家气象信息中心根据《气象雷达发展专项规划（2017-2020年）》及《实施方案》的要求，在国省构建高效的分布式实时历史一体化数据存储管理系统，满足海量数据的存取和分析时效要求。数据实时传输系统是雷达数据共享平台建设的重要组成部分，有效推进国省气象雷达数据共享和气象业务应用信息化、集约化进程，需尽快启动本项目建设工作。
业务需求
高可用性要求：气象数据具有连续采集的特征，分布式数据库集群需要7*24小时连续运行，年故障时间累积不能超过3小时，每次不能超过半小时。
兼容性要求：将历史数据从国省现有的数据环境（主要采用Oracle数据库、MySQL数据库）迁移到分析型数据库，并支持应用的迁移和接入。
建设要求
国家气象信息中心和31个省级节点，通过使用成熟的、性价比高的分布式数据库，存储长时间序列历史数据，支撑气候监测预测、决策服务等业务系统对数据服务和分析的需求。
完成国家级和省级分布式数据库软件的采购、安装部署、联调优化和应用接入支持工作。
气象大数据平台实现了数据全集的统一管理和服务，提供除数值预报以外各类气象数据产品加工、挖掘分析的平台计算服务；直接支撑应用，助力“云+端”业务模式的全面发展，构成集约化、标准化、开放发展的气象新业态。
实施方案
项目基于南大通用GBase 8a MPP Cluster数据库，将现有的气象观测数据，地理信息数据，行业社会数据等基础数据信息通过Kafka实时同步到 GBase 8a数据库中，提供了长时间序列历史数据的存储与多维度的分析计算。提供统一的数据库访问接口，实现异构数据库引擎的透明访问，方便数据统一管理和应用的迁移和开发。
该项目部署规模国家局三套集群51节点；31个省局集群共286节点。其中国家局主系统26节点，数据总量25.4t，库内表2410张，日数据增量主约30G，最大170并发；备份库17节点，数据总量36.2t，备份库内表3610张，日增数据量约40G，最大157并发。
图 1 气象雷达数据共享平台整体架构图
应用效果
本项目的建设将气象行业数据与算法资源整合，使算法向数据靠拢，从而解决过去各业务系统反复调用、存储、传输带来的冗余问题，成为气象部门适应大数据时代，推进气象业务系统转型升级、优化全流程业务的重要抓手，而GBase 8a作为应用支撑库，为上层数据服务提供有力的支持。
数据全集的统一管理和服务：实现各类气象数据全集的管理，进行数值预报以外的产品加工、挖掘分析的平台计算服务。
实时数据同步：气象数据进入到事务型数据库提供业务实时查询访问，通过Kafka将事务库中的增量数据准实时的同步到 GBase 8a分析型数据库。利用 GBase 8a的数据存储、服务、分析的能力，发挥数据应用效益，为天气预报，防灾减灾等业务提供保障。
高性能分析：利用 GBase 8a集群的高性能分布式并行计算能力，有效提升气象业务的复杂分析场景性能。