数据治理和快速查询平台助力数字化转型

数据治理和快速查询平台助力数字化转型

刘玉梅

中远海运散运数字科技有限公司  天津市 300010

摘要：数据治理是企业数字化转型的信息基础和数据质量的保障，高质量的数据分析对企业数字化转型具有持续的推动力。数据质量是分析结果真实有效的基础，高质量的数据管理是企业数字化转型的重要组成部分，数据治理是保障高质量数据的重要手段之一，通过对多数据源、多平台的数据进行有效清洗、规范、整合形成符合智能分析的高质量数字资源，通过快速查询分析平台，经过简单的数据配置，快速实现数据的展现和分析。

关键词：数据治理、数据模型、快速查询

一、数据治理的必要性

随着信息化技术的不断提升，企业在发展期间大多建立了多种信息系统，生产经营、人力资源、绩效考核、商务流程、客户管理、费用报销等，由于系统的建立时期、建造厂商和负责部门的区别，数据大多存在以下几个方面的问题：

1．数据更新不及时

数据大多需要人工进行录入系统或excel模板导入到系统中，数据更新的及时性受到了一定程度的限制。

2．数据规范程度低

不同系统中基础数据的数据规范和数据标准不完全相同，在系统间进行数据交互和数据对比时，增加了困难降低了准确度，有时会出现数据无法匹配的情况。

3．数据重复录入

某个系统填报数据信息后，存在不能自动进入相关联的其他应用系统的情况，发生数据重复录入的情况，产生资源浪费。

4．数据汇总效果差

数据的分散性和规范性差导致进行数据汇总的难度加大，数据汇总的准确度进一步降低。

5．数据连续性差

企业业务运营是具有连续性的，由于业务系统独立，造成了数据的独立分散，不能在数据端形成连贯的业务序列，不能全局的贯穿经营的全流程，缺乏整体性和连续性。

6．数据共享不充分

数据分散在不同的应用系统中，各个系统独立分散，数据信息不能充分的共享和使用，数据价值没有得到充分的发挥。

7．数据分析整合程度低

数据的不连续性、准确度低、分散独立、规范不标准导致数据分析无从下手，智能分析没有良好的数据基础，不能真正体现数据的价值。

二、数据治理措施

通过业务数据一站式收集，经过数据源的发现、数据分类、数据标准的制定、数据清洗、数据建模、数据归集等建立质量高、标准统一、协作能力强、安全可靠的数据中心。数据中心具备以下几个方面的功能：数据集成管理、元数据管理、数据标准管理、数据质量管理、业务数据建模、数据服务、智能分析、数据安全和数据生命周期管理。

1．数据集成管理

数据集成管理可实现跨业务系统的数据传输、加载、清洗、转换和整合，支持自定义调度和图形化监控，实现统一调度、统一监控，满足运维可视化需求，提高运维管理工作效率。

可集成多种类型的数据源，包括：关系型数据库，分布式大数据库，文件数据源（Excel、txt、DB）、接口数据源等。

主要功能包括集成管理、任务管理和任务调度。

2．元数据管理

元数据是数据资源的应用字典和操作指南。元数据管理对元数据的采集、存储、维护、更新、安全等进行管理。端到端的自动化采集，一键元数据分析，快速理清数据资源，了解数据来龙去脉，对数据进行影响分析、全链分析、关联度分析，构建数据地图。实现数据分类有序管理，为数据标准建设和数据质量提供基础支撑，为企业级的数据中心建立提供支持。

通过关联度分析、全链分析、影响分析等快速分析上下游数据信息，快速掌握元数据变更造成的影响，了解元数据的来源和加工过程，体现元数据在系统中的依赖程度的高低等。元数据管理可以提高数据洞察力，进而挖掘隐藏在数据资源中的价值。

元数据划分为三类元数据：技术元数据、业务元数据和管理元数据。

技术元数据 描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、数据封装和前端展现等全部数据处理环节。

业务元数据 描述数据系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息。

管理元数据 描述数据系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。

元数据管理主要功能模块包括元数据模型管理、元数据采集管理、元数据维护管理、元数据分析、系统管理等功能。

3．数据标准管理

提供全面规范的数据标准，用于决定和建立单一、准确、权威的信息要求，通过建立数据标准和标准转换规则，将不同标准的“同一”数据转换为统一标准的完全相同的数据，建立数据关联性，实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，并为数据质量检查、数据安全管理提供标准依据。

通过数据标准的建立，能够实现：

实现数据共享，减少信息冲突；

规范业务录入，减少数据质量问题；

规范新系统建设，减少系统间不一致性。

数据标准管理包括：数据标准检索、分组管理、标准集管理、数据标准转换规则、转换日志查询等。

4．数据质量管理

以数据标准为数据检核依据，以元数据为数据检核对象，通过向导化、可视化等简易操作手段，将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环。

5．业务数据建模

从业务全局视角和数据整体情况出发，重新设计生产数据存储结构，产出与原始数据截然不同的数据存储模型，搭建脱离生产环境的的中间数据库。新数据模型将更加系统、高效、流程化、扁平化，强调业务完整性、模块化和可复用性，降低开发成本，提高开发效率，快速响应用户不同维度统计分析需求。

根据数据模型的规则，对原始数据进行抽取、清洗、转换、装载及调度，构建面向业务的、集成的、非易失的、且随时间变化的数据集合，完成数据融合，提升数据质量，使原始数据发生质的变化，转化为适合分析的导出型数据，并按照决策主题的需要进行重新组织，服务数据分析和其他业务系统。

6．数据服务

从业务、技术、管理、分析等多个视角出发，将数据模型按照应用要求做服务封装，构成数据服务。数据服务根据各业务系统的实际需求，将数据中心的数据信息在若干个业务子系统之间进行数据或者文字的传输和共享，简化对数据的访问，提供可用于多种格式的数据集或数据流。提高信息资源的利用率和共享程度，集数据采集、处理分发、交换传输于一体。

数据服务可以通过微服务、文件、API、消息、其他等多种形式，经过安全校验、负载均衡、权限管理、日志管理等管理，灵活多样、可控地向其他业务系统提供数据接口，满足内外审计需求、数据核对、数据分析等提供数据提取要求。数据服务同时可以满足大屏幕、数据报表、手机和PAD等多种数据展现介质的需求。根据实际业务需求，实现个性化推送服务。

7．智能分析

提供多维度的数据分析、诊断、预警、预测、对比、交互和可视化服务。

8．数据安全

数据安全管理贯穿于数据中心使用的全过程，提供对隐私数据的加密、脱敏、模糊化处理、数据库授权监控等多种数据安全管理措施，对数据采集、数据抽取、数据清洗、数据融合以及数据服务等过程进行控制和管理，全方位保障数据的安全运作。

9．数据生命周期管理

记录数据从产生、维护、同步、存储、数据建模、使用、归档到消亡的整个流动过程进行监控和管理。数据生命周期管理对不同阶段的数据采取不同的管理策略用来降低数据管理运营成本，提高数据质量。

三、快速查询平台助力数字化

1．目标

在高质量数据的基础上，简化数据链路和数据间访问，提升数据应用能力。通过数据集配置、定义前台查询页面通用框架模板、抽取综合查询要素、总结查询界面要素、设定数据翻译、关联钻取等规则，打造一套通过页面配置、设定查询要素和界面显示要求，根据界面模板自动实现快速查询的体系平台。通过快速查询平台，降低开发成本，提高开发效率，快速响应用户不同维度统计分析需求。

2．平台要素

主题建模:从业务全局视角和数据整体情况出发，梳理生产数据，产出与原始数据截然不同的数据存储模型。业务主题数据模型将数据扁平化，强调业务完整性、模块化和可复用性，快速响应用户不同维度统计分析需求。

快速查询：通过业务主题的实体表数据，提供单表数据查询功能。业务主题表中建立相应的索引，查询语句根据显示内容定制字段，准确查询；数据转换、数据计算、数据标记等都提供结果数据，减少不必要的数据传输和数据加工过程。

低代码：通过数据集、查询条件、数据列显示、关联钻取、合计信息等配置操作，根据界面模板自动实现快速查询页面的生成，通过低代码实现数据功能。

对外接口：制定对外数据接口管理策略，建立对外接口统一服务。通过配置接口的类型、接口数据模型、数据来源等自动实现对外提供数据接口服务。

3．主要功能

多数据源管理：支持不同数据源的数据集，支持主流数据库MySQL，DB2，达梦，SQLServer等。

报表配置管理：对需要展现的数据集和展示配置进行管理。具有对数据属性自定义、查询条件自定义、默认值管理、排序、数据样式（支持编程）、显示长度、显示样式、查询条件配置、系统参数配置等。

报表链接管理：通过配置实现数据集之间的钻取和关联关系。根据不同的维度层次，变换分析的力度以及信息共享的颗粒度。

信息动态展现：信息展现页面包含导航区、表头、查询区、统计区（全量）、数据区（含本页合计）和分页区构成。支持表头固定和选定列固定功能。

外部接口管理：对外提供数据接口服务，建立对外数据接口管理功能，支持定时任务管理，定时进行数据服务的提供。

四、结语

快速查询平台是数据治理中数据服务的展现平台之一，实现数据提取、数据展现和个性化推送。数据治理和快速查询平台的结合，能够快速实现中小型企业业务系统全链数据查询和多层级多颗粒度的数据分析和钻取功能，节约定制开发的人力资源，更加充分地进行数据共享促进业务协同和数字化能力。