项目背景

通信管理局是省级行政区域内通信行业的主管部门，对省内电信业进行集中统一的监督管理。为了实现对基础电信网络安全分析和行业监管，通管局大数据分析平台总体定位是提供智能威胁信息的整合管理和分析功能，通过海量异构数据的集中采集和数据集中进行威胁分析，发现威胁并将相关潜在威胁信息予以挖掘呈现。

建设要求

本项目要求大数据分析平台能够有效支撑各类业务信息的处理和运行，提供面向在线、离线数据存储和处理的综合能力，并满足易于管理和扩展的需要。
平台系统需要支持各类结构化、半结构化与非结构化数据的存储，通过可扩展性的分布式平台技术有效支撑对各类数据的加工、检索、统计、分析和数据深度挖掘的需要，并对资源与任务实现最优的调配管理，最终为上层各业务系统提供基于标准接口方式的数据的存储、检索、统计和分析等服务能力。

平台建设需要支撑以下功能实现：

• 数据的汇入存储

采用先进的大数据存储查询架构，实现对各类结构化、半结构化与非结构化数据采集、预处理、日志数据标准化入库，并实现高效的数据整合存储、海量数据快速分析、实时查询等；

• 威胁信息关联发现

通过特征抽取，和大数据平台的关联分析能力，实现大数据的关联发现、数据间透视分析、和威胁行为的上下文推测，为威胁分析提供数据的逻辑支撑；

• 数据的深度分析和挖掘

通过各类汇合数据为大数据的分析判定提供数据支撑，并通过大数据的逐步分析到深度分析的技术流程建立，发现各类威胁模式，完善安全知识库的功能，包括但不限于自治区漏洞库、恶意代码库、恶意程序库、IP/域名信誉库、入侵特征库等，并通过系统的管理实现各知识库中规则的更新、管理等功能。

• 灵活的数据共享访问

主要实现数据的统一共享功能，其中平台对上层服务的各类数据输出接口，主要通过标准化接口进行实时数据的调用输出，非实时数据接口主要是以标准日志格式通过FTP等进行数据传输。

本项目采用GBase UP大数据融合平台，为用户构建标准统一的数据采集、数据访问的DaaS平台。平台包括数据采集层、数据存储层、数据计算层、分析服务层和大数据统一监控管理。平台架构如下： 

说明：

• 数据采集层用于支持数据采集、过滤、缓存、中转分发调度；

• 数据存储层用于支持海量异构数据的统一可靠的存储管理，对外提供标准化统一的结构化、半结构化和非结构化数据的访问接口；

• 数据计算层是基于支持多种计算模型的分布式计算框架，为上层业务系统提供专业的计算处理库；

• 分析服务层为上层业务系统提供各种不同协议和标准的访问接口，并实现大数据平台内跨引擎间的任务调度；

• 大数据统一监控管理用于完成对数据分析平台的运维、监控等功能，并同时提供命令行和图形两种管理界面。

本项目通过MPP及Hadoop构建了融合平台，累计部署上百个节点，实现了项目需求。

本项目的价值体现如下：

• 满足客户统一数据管理需求，提升业务上线速度

通过采用GBase UP融合大数据平台，满足了客户对多模数据统一管理的需求，并且为上层应用提供了标准开发接口，提高了开发效率，提升了业务上线速度。

• 有效降低成本

整个系统平台基于开放架构的软硬件设备搭建，极大地降低了系统建设成本。

• 全国产化配置，保障系统安全

通管局项目数据保密性强，采用全国产化的技术组件，保障了用户数据的安全可控。