浅析泛在电力物联网的数据质量管控研究

浅析泛在电力物联网的数据质量管控研究

程芬

国网山西省电力公司运城供电公司山西运城044000

摘要：数据质量是泛在电力物联网发展的关键因素，“加强数据清理，开展数据质量治理专项行动”是泛在电力物联网的重点工作任务之一，通过全面的数据质量治理，有效提升数据质量完整性、规范性、准确性以及数据的一致性，为提升泛在电力物联网实用化水平打下坚实基础。

关键字：数据质量管控；泛在电力物联网

一、数据质量现状

目前，企业管理信息系统数据质量考核方法是由各省公司按电网接口规范要求，从业务系统中抽取、转换数据，并生成接口文件后上传到电网数据中心进行数据加载、校验、考核，分省公司在数据上传之前可先对数据进行预校验，有效保障了上传数据的质量。随着电网公司企业管理信息系统（CSGII）逐步推广应用，对于单轨运行的系统数据质量考核，将由电网数据中心直接从系统数据库抽取数据后进行考核，各省公司无法了解数据质量存在的问题，并且很难对考核报告发布的问题进行分析、追溯，这将给数据质量提升工作带来很大的难度。

二、数据质量管控平台主要内容

1、依据泛在电力物联网数据中心标准，在本地完善企业级考核指标分析系统有关功能，包括：

1）依据泛在电力物联网数据中心存储模型标准，完善数据存储模型；

2）依据泛在电力物联网数据中心数据采集标准，完善数据采集功能；

3）遵循泛在电力物联网企业级信息管理系统数据质量考核规则要求，完善数据质量校验功能，实现对本地数据质量管控系统中的数据项进行校验；

4）依据泛在电力物联网数据中心考核指标的统计规则，实现指标统计程序，为指标级数据质量校验提供支撑；

5）完善一体化业务系统数据模型监控功能，对业务系统数据模型变更进行监控，并与泛在电力物联网一体化系统模型标准进行比较，存在不一致时及时预警。

2、根据泛公司考核要求，将数据采集到企业级考核指标分析系统，按考核要求对采集的数据进行数据质量校验，将校验出的数据质量问题，提交至数据质量工作小组，并协助进行分析、定位、解决，使数据质量得到保障和提升。

3、依据泛在电力物联网公司数据质量考核政策变化情况，及时变更数据质量管控系统的接口、模型、考核规则，保证数据质量管控的有效性。

三、数据质量管控平台逻辑架构

1、数据层

数据层存储从一体化系统抽取到的数据、指标统计数据；保存企业级数据考核指标分析系统功能支撑数据。

2、应用层

数据质量校验：实现对一体化数据的质量进行预校验；

数据质量问题分析：实现对数据质量预校验发现的问题进行分析、定位、登记；

数据模型监控：监控一体化业务系统数据模型与泛在电力物联网一体化系统标准模型的差异情况。

3、展现层

向用户展现系统的各类应用，包括：数据质量检验情况、数据质量分析情况、数据质量问题跟踪情况、数据质量问题解决情况、数据模型异常监控情况、数据模型异常处理情况。

四、泛在电力物联网数据质量管控平台实现的功能

1、数据质量预校验的需求

数据质量有效管控的先决条件是明确管控内容、范围、时间，因企业级管理信息系统单轨运行后，数据中心直接采集一体化业务系统数据进行考核，分子公司进行数据质量管控的内容、范围、时间都必须遵循泛在电力物联网数据中心的标准，采用相同的标准确保管控对象、校验规则等一致，才能最彻底地知道问题所在、如何解决问题、确认问题是否解决，最终有效保障数据质量水平。因此，可基于数据质量管控平台，遵循泛在电力物联网数据中心标准完善系统功能，实现数据采集、存储、指标统计、校验等功能，在本地对数据进行预校验和管控，在泛在电力物联网数据中心采集数据之前将数据质量问题整改好，杜绝问题数据被抽取、考核。

2、数据质量问题分析及溯源的需求

数据中心直接抽取一体化业务系统数据进行考核，并发布相应的考核结果，但往往因源业务系统数据已经发生变化而无法溯源并分析问题所在，因此需基于数据质量管控平台，遵循泛在电力物联网数据中心标准完善数据预校验功能，实现数据采集、存储，为后续分析定位问题提供支撑。

3、一体化业务系统模型监控需求

因一体化业务系统由公司统一建设和推广，各项项目建设管理工作由泛在电力物联网直接负责，包括一体化业务系统数据模型的管理工作。各分子公司一体化业务系统模型如与泛在电力物联网一体化业务系统标准模型不一致，将导致泛在电力物联网数据中心采集数据失败，并会被扣除数据质量考核中的接口健康水平分数。因此，为有效保证接口健康水平，需对一体化业务系统数据模型进行实时监控，监控发现与泛在电力物联网发布的一体化业务系统标准不一致时及时告警，启动相应的处理流程，包括：申告、触发数据模型变更申请流程、向下游相关系统发布模型变更消息等，有效保证不影响接口健康水平得分。

五、数据质量管控平台的成果

基于数据质量管控平台，实现在本地对一体化业务系统数据质量考核进行预校验，及时有效解决存在问题，为提升数据质量提供有力的支撑。

1、依据电网企业级信息管理系统数据质量考核方案要求，在本地完善企业级考核指标分析系统数据质量管控功能，成立数据质量管控组织，开展数据质量管控工作，保障各大业务系统的数据质量水平；

2、针对企业级信息管理系统数据质量考核指标，包括：数据接口、数据项、指标等方面保证数据的及时性、准确性、一致性、规范性、完整性，及时发现存在问题并做出相应调整，不断推动数据质量水平的提高，并最终达到泛在电力物联网的要求。

参考文献：

[1]党芳芳.电网企业业务数据质量管控技术的研究.《华北电力大学》，2014.

[2]胡波.电网业务系统数据质量管理平台的设计与初步实现.《中国电子商务》，2010（12）：28-30