浅谈智能采油厂数据治理

浅谈智能采油厂数据治理

宿建春 郑金风 兰明菊 胡潇文　武瑛

（ 中国石油新疆油田分公司风城油田作业区）

摘要：大数据时代，随着采油厂物联网的建成及信息系统建设不断推进和深入，产生大量数据，形成庞大的数据资源，是石油企业一项重要的无形资产。由于数据壁垒的存在，这些数据资源并不能全部融合应用，形成大量数据孤岛。按照“以用促治、以用促建”的原则，规划采油厂数据湖的建设，建立各业务数据从采集、存储、共享、管理到应用的治理机制，形成全业务、全过程、全数据的治理体系，打破数据壁垒，发挥数据资产价值，为采油厂数字化转型智化发展提供数据支撑。

关键词：数据治理；数据孤岛；数据湖

一、前言

数据是企业的一项重要资产，近年来随着采油厂（作业区）物联网建设逐步建成投用，以及勘探开发过程中积累的大量数据，为生产决策和科学研究提供数据支持。但是数据本身存在很多问题，如数据源分散、数据库类型不同、数据难共享等问题，因为这些问题的存在，形成一个个独立的数据孤岛，不利于数据资源应用价值的发挥。

随着数字经济不断快速发展，信息技术进一步提高，对数据存在的壁垒问题亟待治理。数据治理是解决数据问题的唯一途径，通过采油厂业务数据目录梳理，数据管理规章制度的完善，优化数据采集、存储、管理及应用各个环节，实现数据链全面贯通融合，制定契合业务发展和智能油田建设的规章制度，实现数据处理智能化，最终建立标准化的数据应用标准，提高数据质量，实现数据共享，充分发挥数据资产的价值。

二、数据治理内容

采油厂数据治理的主要内容包括五个方面，每个方面做如下具体分析。

（1）确立数据模型：数据模型是数据治理的基础，数据模型必须包括企业整个业务范围，并且具有稳定、标准、易用使用等特点的全领域的统一模型，针对不同业务应用分析打下了良好的基础，在模型扩展机制中也要具有灵活性和扩展性，打破了信息孤岛带来的限制，让数据做到相互连通。

（2）建立数据质量管控体系：为保证数据质量需要对数据进行全程的跟踪、监控、记录，支撑整个数据质量管理流程，建立企业级的数据质量管理体系和数据质量考核机制，建立统一数据质量管控机制，保障数据质量真实有效。

（3）数据管理体系：通过科学有效的管理机制对数据进行管理，向开发人员和终端用户提供数据服务，保证满足用户在业务方面的需求，为企业业务系统、开发和维护数据平台提供支撑。

（4）数据标准规范：标准涉及元数据、主数据、参照数据、数据指标标准等，结合企业实际、行业标准、技术规范等建立数据标准化机制，制定数据运行规范、数据应用规范、数据管理及监督规范，利用信息技术构建数据治理模型，保障数据质量[5]。通过建立起数据标准体系，可以保证数据更加标准，使数据在应用过程中更具一致性。建立标准的控制更新机制，使数据得到不断的补充、完善，更好地支撑业务的开发。

（5）数据安全管理：其定义就是保证数据库信息的保密性、完整性、一致性、可用性，包括物理和逻辑数据库的完整性，元素的安全性，可审核性，访问控制和用户认证。目前一般把数据库系统的安全需求归结为机密性，完整性和可用性。对于提高数据库安全的措施，一般有身份认证、接入控制、数据安全审核、数据加密、备份和恢复数据库、强化防火墙等措施。

三、数据湖构建

数据湖是通过将原始数据分类存储到不同数据池,并在各数据池里将数据整合转化成容易分析的统一存储格式进行存储,以方便用户对大量原始数据池中数据加以分析利用[1]。数据湖是用来存放数据的，一般包含：目标数据、池元数据、元处理过程、数据转化标准、池描述、池目标。实现数据湖管理需要依托数据管理平台,将数据群与服务、运算规则、显示器、历史日志联系到一起,完成数据湖的构建[2]。

构建采油厂区域湖，逻辑架构方面如图1所示，主要划分为五个层次，首先第一层是采集层，主要是实现人工录入、自动化设备采集、外部购买数据的统一采集管理，保证数据一致性与溯源能力。第二层是存储层，主要是围绕EPDM模型标准，按照业务覆盖范围可持续扩展完善，建立统一标准的数据模型；同时根据结构化数据、非结构化数据和时序数据的不同的数据类型特点，选择有针对性地技术管理模式，支持分布式存储和对数据的运算处理，更好的满足上层共享应用的需求。第三层是管理层，通过数据模型的统一管理，数据质量的管控，数据标准的执行，达到对各专业动静态数据的统一管理。第四层是共享层，通过共享数据服务接口[5]，将源头数据、报表统计分析、研究成果、大数据分析等在一个层面上进行数据共享应用。第五层是应用层，主要是基于共享数据层建立能够支撑油气勘探、油气开发、生产运行、工程技术等各业务领域通用分析应用的分析库环境，通过大数据环境下的数据建模和并行计算模型建设，大幅提高运算与分析能力。

图1 数据治理体系架构示意图

（一）数据治理案例

地面工程数据是智能采油厂建设中一项重要的可视化数据，也是生产指挥立体化体现的重要数据基础

[3]。但采油厂地面工程数据存在两方面问题，一是部分地面设施数据缺失，二是因组织关系的变更，存在属性数据未变更的问题。因此数据应用存在不准确、不全面的问题，导致数据应用不理想，未发挥应有的数据价值。

在地面工程数据治理工作中，采油厂要按照“摸清、补齐、建全、核准”的原则，开展数据治理工作。由业务主管部门负责建立联合团队，组织各基层单位对属地管辖内的地面工程数据进行全面梳理缺失项。依照现行国家标准、测绘行业标准以及有关规定，充分利用现有基础测绘资料，开展地面工程缺失数据补测和属性数据整改工作，并结合质检工具进行入库数据的质量检查。为后期的勘探开发、生产运行、质量安全管控等业务提供准确、可靠、及时、有效的数据支撑。

缺失数据补测完毕后需要应用专业GIS分析工具完成数据提取、清洗、整理与比对。利用大数据技术、云计算技术等为基础构建数据池，通过数据池处理提高数据运算和分析能力。数据池一般是包含各种格式（结构化与非结构化数据），体量巨大的数据库，是整个数据处理的核心[4]。由此可见，数据池具有十分强大的包容性，可以兼容多种不同数据格式及其他非数据内容，也可同时存在多个数据池，这些数据池之间相互独立，互不干涉，大小不定且缺少边界限制，具有很大延展性。

（二）数据治理成效

通过地面工程数据治理工作全过程得出的经验：一是，要积极构建集组织体系、技术体系、管理体系及执行体系于一体的数据治理体系，二是，要重视数据治理工具、数据池的研究与应用，强化数据池处理，大胆积极应用大数据新兴技术，通过数据接口共享服务的研究，有效解决数据共享集成应用的问题，提高原有系统数据查询时间，提升数据查询有效性。探索出了一条符合智能采油厂发展的数字化转型、智能化转变的有效路径，其中数据治理工作发挥着积极有效的作用，将是智慧油田建设与发展的重要基石。

四、结束语

实践证明，智能采油厂数据治理是一项非常重要的工程，是智能采油厂建设的数据基础，基础不好将影响整个智能化建设成效。通过将数据治理新技术引入信息化建设中，可以在很大程度上提高智能采油厂建设和发展的质量，将各类数据融合成为一个数据整体，打破数据壁垒，使各项业务紧密联系起来。在数据治理的这个过程中离不开新技术的支撑，利用相关技术能够带来十分明显的优势和助力，在很大程度上促进石油企业的发展，使石油企业的数据经济效益和社会效益最大化。

参考文献：

[1] 邱燕娜.数据湖不能成为数据沼泽[N].中国计算机报,2015,9(28):011 .

[2] 郭文慧.数据湖--一种更好的大数据存储架构[J].电脑知识与技术,2016,23(30)4-6.

[3] 赵志刚.大数据在石油行业中的应用探究[J].信息系统工程,2019(3):36.

[4] 张楠楠.浅谈大数据技术在石油生产环节中的应用现状[J]. 信息系统工程,2019(8):136.

[5] 雷克.数据治理在石油企业中的应用实践[J].石化技术,2021.28(6):180-182,16.