客户案例

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

中国石油石化行业央企智能油气田项目——多类型数据存储与计算平台

根据集团公司“十三五”信息化发展规划和石油石化行业央企智能油气田项目总体规划的部署安排,结合油田企业提高生产效率、优化生产运营的业务

价值体现


海量数据管理:为用户提供了并行海量复杂数据处理平台,帮助客户形成PB级以上的业务数据单一视图,为客户提供及时高效的数据分析结果;


数据安全防护:通过采用国产系列数据库软件,替代国外及开源数据存储与计算平台,提升能源安全防护能力;


多类型统一管理:实现对企业三大类6种业务数据统一管理与访问,通过数据治理平台实现对数据溯源、血缘关系管理、对外统一服务等;


解决方案


智能油气田架构如下图所示,由数据源层,数据汇集层,数据存储层,数据计算层及数据服务层组成。


数据源层:

最下层为数据源层,数据源层包括油田日常生产运行中产生的数据,成果图片、报告、施工文档、施工报告等成果图形文档,监控类音视频数据,物联等实时数据,测井类大块提数据,GIS影像等六大类数据结构化、半结构化及非结构化数据。


数据汇集层:

数据汇集层采用GBaseMTK元数据同步工具、GBaseRTSync实时同步工具、kafka消息队列、Sqoop、Flume、对象存储等数据传输及处理工具进行汇集。


图片 1.png


数据存储层:

数据存储层采用GBase8s高并发事务数据库、GBase8a分布式海量数据olap分析数据库、及GBaseHD提供的HDFS、hive、HBase等存储与管理引擎平台、Neo4j图库、对象存储等作为三大类数据存储平台。


数据计算层:

包括GBase8s数据计算、GBase8a分布式系统数据计算、MR/Spark/Flink/ES/图计算等计算引擎及数据库,对三大类6种业务数据类型进行数据计算及检索。


数据服务层:

系统通过结构化数据API、实时数据API、音视频API、Gis数据API、文档图片API、体数据API、数据推送、BI服务、AI服务等对应用及外部应用提供数据服务。


需求分析


项目采购符合成熟、稳定要求、并基于Hadoop架构的大数据平台软件,支撑结构化与非结构化数据的存储、访问、计算和分析处理。通过数据虚拟化、数据联邦技术以及引擎间高效的数据实时交换通道,融合复杂关联分析、流计算、图计算、图计算、批量处理等计算模型,构建大数据云平台,支撑智能油气田云平台中OLAP、OLTP和NOSQL三种计算模型的业务场景。


具体需求包括:

(1)满足石油石化行业央企智能油气田云平台部署;

(2)开展大数据分析,实现对实时数据、体数据、成果数据等非结构化数据和外部数据的数据存储,开展数据治理和数据标准化相关工作。数据来自于采气厂、电力调度、分析化验、净化厂、以及地震数据、测录井曲线、分析化验曲线、地质模型网格化数据、视频监控平台等及部分外部数据;

(3)建立统一的数学算法库和模型库,开展数据检索、互动分析、关联分析等数据挖掘分析,支撑智能油气田业务发展;

(4)实现对流数据的实时采集、存储和分析应用;

(5)支持海量数据的快速查询分析,查询响应速度在秒级以内;

(6)具备统一的图形化监控和图形化管理操作等交互能力;

(7)支持数据加密、数据备份恢复、数据一致性校验、操作审计功能;支持统一的系统身份认证和安全访问检查、验证,实现对各数据库引擎及数据的访问;支持按用户、角色授权。


项目背景


根据石油石化行业央企“十三五”信息化发展规划和智能油气田项目总体规划的部署安排,结合油田企业提高生产效率、优化生产运营的业务目标和集中集成、协同共享的信息化需求,开展智能油气田项目试点建设。


智能油气田建设总体目标为以ICT最新技术为手段,围绕核心资产全生命周期管理,打造全面感知、集成协同、预警预测及分析优化四项能力,助力“高效勘探,效益开发”,实现企业资产价值最大化。本期试点项目目标是建设智能油气田云平台,补充和完善智能油气田标准化体系和技术支持体系,围绕油气藏、单井、管网、设备等油气田企业核心资产,实现油气藏动态管理与优化,单井、管网、设备的智能诊断与优化,建成智能油气田示范区,打造国家级智能制造示范工程。


鉴于中国在贸易摩擦中受到的巨大影响,关键核心技术自主化显得愈发重要,长期使用国外数据库管理石油勘探开发数据,不利于保障国家能源安全,因此使用数据库软件支撑智能油气田云平台势在必行。通过在智能油气田云平台中多种大规模结构化、半结构化与非结构化数据处理技术,通过数据虚拟化、数据联邦技术以及引擎间高效的数据实时交换通道,融合复杂关联分析、流计算、图计算、图计算、批量处理等计算模型,构建大数据云平台,支撑智能油气田云平台中OLAP、OLTP和NOSQL三种计算模型的业务场景。


由于现有传统的数据仓库不能完全满足以上业务需求,为实现上述目标,更好地服务于智能油气田业务发展,加强决策支持系统深化应用,深入挖掘数据价值,提升决策支持数据分析能力,需要对现有数据应用集成决策支持系统进行功能拓展和延伸,补充数据分析功能,实现对海量多元异构数据的存储管理、数据建模及挖掘分析。