地理信息时空数据中台研发分析

(整期优先)网络出版时间:2024-06-25
/ 3

地理信息时空数据中台研发分析

姚允元

浙江物芯数科信息产业有限公司  313000

摘要:数据中台作为一套管理机制,立足战略资产的角度管理数据,最大限度地挖掘数据价值。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》的颁布为各行各业提供了一份数据资源规划蓝图,表明了数据资源获得了来自国家层面的重视。推动时空数据建设要求,在一定程度上顺应了数据发展趋势。在这一背景下,开展了关于地理信息时空数据中台的有关研究。文章首先介绍了数据中台基本框架,其次,深入讨论了地理信息时空数据中台的设计,包括总体框架、模块设计以及应用流程等,最后,介绍了几种关键技术,包括多源异构数据采集与存储技术、快速制图表达引擎技术、三维模型轻量化技术、时空大数据管理技术、数据中台技术、物联中台技术、端-边-网-云协同计算技术等。

关键词:地理信息;数据中台;关键技术;时空数据

引言:在大数据时代,为充分发挥数据价值,政府、企业、各机关单位等逐步走上了数字化转型的道路。随着越来越多的社会各机构面临数字化转型失败的局面,中台为其提供了一种新的探索方向。推动地理信息时空数据中台研究,可充分挖掘数据价值,提高数据利用率,实现对数据的精细化管理,以此服务于城市区域发展。

1数据中台基本框架

中台这一概念的提出,为解决“数据孤岛”等问题提供了解决思路。中台利用一个相对独立的中间平台衔接业务和数据,在减少冗余的同时,提升了系统响应速度,实现了基于数据驱动下的业务创新。数据中台既能够全局管理数据,又能够实现数据智能化、数据资产价值的最大化等。数据中心的参考框架如图1所示。

图1 数据中心参考框架示意图

从图中可以看出,数据中台框架属于层次模型,共五个层次,分别是物理管理、逻辑管理、数据资产管理、数据服务和信息安全管理。

第一,物理管理由三部分组成,其一是物理工具支撑,其二是基础能力平台,其三是数据采集与汇聚。第二,逻辑管理,主要负责原始数据的再加工处理,将其转变为数据资产,包括数据治理和数据表示两个部分。第三,数据资产管理,通过数据价值管理、数据共享管理、算法开发管理等方面向业务释放数据资产价值。第四,数据服务,关系着数据价值的发挥,其类型有两种,一种是被广泛复用的数据服务,一种是基于特定场景特征开发而成的专用型数据服务。第五,信息安全管理贯穿整个数据中台。互联网的安全防范是构建数据中台时的重点,关系着系统能否正常运行。

2地理信息时空数据中台的设计

2.1总体框架

相较于传统的地理信息平台,融入了中台设计理念的地理信息时空数据中台,立足业务应用需求管理后台资源并为前台提供服务,以此推动前端业务更新以及地理信息大数据系统的建设。

建设地理信息时空数据中台,为新型基础设施建设提供了支撑,促进了时空大数据与云平台服务能力的提升,实现了对数据能力、技术能力的服务,推动着前台业务创新、智能化发展,进一步提高了数据的实时性、共享性等[1]

地理信息时空数据中台是多层次模型,大体可被分为五个层次,分别是设施层、数据层、平台层、应用层和用户层。针对具体应用场景搭建的地理信息中台,其基本架构如图2所示。以某地区构建的地理信息中台为例,相关部门按照当地发布的标准,整合多项技术,构建了多层次的地理信息中台。

2 某地理信息中台总体框架图

如图所示,该中台总共有五个层次。层次一:基础设备,包括计算机资源、储存资源、网络资源和观测资源;层次二:地理信息技术中台,整合了多项技术,包括大数据、移动互联网、可视化、人工智能、国产化等,在该层次,为满足数据的存储需求,采用了分布式储存引擎技术,支持多类型数据的储存,如空间大数据、图谱型大数据、文件型大数据等。层次三:数据中台,由数据中心、资源中心和运维中心组成,其功能包括但不限于规划数据资产、运营数据服务。层次四:计算中台,根据具体的应用需求提取数据,建立知识图谱和挖掘分析模型,以探索时空数据的价值,为相关决策提供参考依据。层次五:业务中台,由数据服务中心、GIS应用中心、地图中心和应用中心四个部分组成。

2.2模块设计

云平台是地理信息中台的载体,主要服务于数据资产、数据服务、业务价值、地理信息应用、二次开发服务等开发功能。根据图2所示,地理信息中台由五个部分组成,每个模块功能不同,彼此之间相互配合,保证系统正常运行。

1)基础设施:主要为系统运行提供基础资源,如网络、计算、储存、观测等;2)地理信息技术中台,以提供技术支撑为主;3)数据中台:主要负责原始数据的加工处理,使其成为有价值的数据资产,同时也负责数据资产的管理、存储、资源交换以及数字资产的对外提供等;4)计算中台:以业务需求为出发点,深入挖掘数据资产的价值,通过挖掘、抽取数据特征等方式构建分析模型,以此挖掘业务价值和支持决策;5)业务中台:其主要功能是统一管理地理信息服务和数据、提供数据处理等多项服务、提供提供多套地图SDK等。业务中台能够满足用户的共性与个性需求,同时也支持系统的二次开发和优化。

2.3应用流程

因不同应用场景对数据有着不同的需求,所以,数据中台不仅要保障数据格式、类型的多样化,同时还要满足个性化的数据应用。为此,最有效的方案是以需求为导向,优化设计数据分析模型,打造灵活的数据分析模型库[2],并进一步明确应用流程。数据中台应根据用户需求挑选数据以及对应的模型,通过不断的排列组合后生产出满足用户需求的高质量的产品。

3地理信息时空数据中台的关键技术

为满足场景需求,在设计和构建地理信息中台时,需要合理选用关键技术,充分发挥技术优势,以丰富和强化系统功能。

3.1多源异构数据采集与存储技术

在设计地理信息中台时,需优化技术平台性能,以确保不同特征的地理时空数据都能够被存储在指定位置,并支持不同结构数据的接入、分析等。设计时,根据性能优化需求决定是否选用实时数据接入或ETL。采用统一的接入标准、RTDS实时数据接入等构建地理时空数据技术中台,实现对各结构数据接入、查询、输出等各环节的动态监管。然后,通过抽取、清洗、转换等操作处理不同来源、不同结构的空间或非空间数据,为大数据分析利用提供多源异构数据作为参考,以此实现针对不同类型数据的无差异化控制。

3.2快速制图表达引擎技术

地图产品是可视化的时空数据,为用户直观分析数据内涵和逻辑、挖掘数据规律和潜在价值提供了手段。利用地图产品,也可优化决策,提升决策的精准性。

在实际的应用场景中,利用地图模板、制图模板、符号库等可实现快速制图,同时也支持用户根据需求个性化定制专题式地图产品,以满足不同场景下产品组装需求,尤其是应用场景。并且用户可根据实际情况有针对性地修改地图,实现持续优化等。

快速制图流程包括五步:第一步是加载或上传专题数据;第二步是选择底图,包括确定底图区域范围、风格等;第三步是设置符号,为保障符号的有效性,其设置依据是各模块专题;第四步是设置模板、优化布局,以满足用户的审美、应用需求;第五步是组装地图产品并导出。

3.3三维模型轻量化技术

地理信息平台计算中心通过构建模型进一步挖掘数据资产的价值。构建模型涉及大量数据,易造成系统加载慢、浏览器卡顿等[3],从而导致用户体验感差等。对于此,要进一步优化模型加载可视化,提高数据处理效率。为此,可选用三维模型轻量化技术,合并模型瓦片、利用变分近似拆分模型、删除内部三角格网、充足模型,通过构建轻量化模型优化三维空间数据结构等。

3.4时空大数据管理技术

时空大数据管理技术是指通过构建时空信息模型实现对数据的有效管理,以此提升数据的共享性。时空大数据管理技术是解决信息孤岛问题的有效手段,可进一步挖掘数据资产的价值。在中台中,通过使用数据资产地图模式,可精准掌握用户信息,高效收集相关数据,从而提升系统的数据收集与汇总能力,有利于解决数据收集难题,保障数据资源的利用率。

3.5数据中台技术

基于中台设计理念构建地理信息中台,不可或缺的一项技术便是数据中台技术。数据中台技术能够为系统提供一个关于数据界面的新架构,使其具有规范化处理海量数据信息的能力、数据剥离、提取、计算与加工的能力。数据中台技术影响地理信息数据从产生到更新全过程的每个环节。

数据体系由四个层次组成,每个层次组成部分不同,其中贴源数据层包括观测数据、其他网站共享数据等;统一数仓层包括地下/地下资源域以及海洋资源域等;标签数据层内包含来自不同渠道的标签,如管理人员标签、用户标签等;应用数据层主要负责数据资源管理等。

3.6物联中台技术

利用物联中台技术可搭建物联网中心操作平台,其中,设备接入模块支持多设备的协议驱动,可满足统一收集多源头数据、统一接入物联网关的需求,一定程度上提升了系统的边缘感知与计算能力。开发的数据存储及数据共享模块,可实现海量物联监控数据的高效解析、分布式存储与交互等。基于物联网中台技术,可借助多种开放式接口,如API、算法服务等进一步提高工作效率,增强系统性能,如可拓展性等[4]。利用集成各类计算机能力的实时引擎,可提供设备监管调度、人工智能服务等。物联网中台技术为人与系统间的交互提供工作平台。系统利用工作台为用户提供符合其需求的各类应用服务,以此支撑业务开展等。

3.7端-边-网-云协同计算技术

在物联网时代,因物联网终端设备应用量持续增加,系统日常需处理的数据量不断增多。以往的数据处理模式无法满足海量数据的连接、计算等多方面的需求。所以,开展了关于搭建性能更强的物联网网络架构的研究。

传统的物联网架构对采用边缘计算就近处理的方式满足海量数据的实际处理需求。随着物联网技术飞速发展、实际应用场景不断增多,网络架构需要满足更多的数据实时处理需求。基于这一变化,提出了一种基于端-边-网-云协同计算技术的物联网网络架构。

该架构的设备端具有实时监测功能,支持针对各类型设备的实时监测,搭配使用边缘计算技术、Modbus等协议,有效提升了数据计算的时效性。多点无缝漫游通信技术的运用,实现了信息同步,此外,为满足复杂模型的分析计算需求,在云端采用了边缘节点管理。

“端-边-网-云”四个端口都具有一定的运算处理能力,可满足计算任务的智能化处理需求,同时也能够保证效率。该架构涉及了四项关键技术的运用。第一,运用了云边协同技术,通过在网络边缘端设置边缘计算节点,有效采集边缘数据并进行分析、处理、上传结果等。云端支持数据建模、业务下发等。在设计云端时,需要考虑计算资源的合理分配以及不同业务的差异化需求等。第二,运用了边协同技术。该技术强调边缘节点、分布式边缘计算部署架构之间的一致性,以及边缘节点的相互访问权限。该技术的运用可实现业务的低时延运行。在边缘阶段计算能力不足时,系统通过任务迁移等方式优化计算资源分配,保障计算效率。第三,融入边端协同技术。在该技术的支持下,边缘侧节点与边缘云相互配合,完成数据的采集、传输以及接收等。在一定程度上,避免了计算能力受限,平衡了新业务与系统计算能力之间的关系。第四,运用了云网协同技术。利用网端、网络连接云计算节点等,高效流动计算资源、保障节点间数据流动等。

结论:地理信息中台推动着地理信息智慧建设,有助于充分发挥数据资产价值,提升时空地理信息服务能力。基于此,应着力开展地理信息中台研究并推广,坚持以应用需求为导向不断促进中台创新发展,深入挖掘时空数据价值,以服务于智慧地理建设。

参考文献:

[1]陈可蕴,柳翠明,赵林峰,等.地理信息时空数据中台的构建与应用——以南沙新区为例[J].地理空间信息,2023,21(11):32-35+45.

[2]赵伟伟,王守东,贾凉,等.地理信息中台在智慧城市中的应用——以南京市为例[J].工程勘察,2021,49(04):57-61.

[3]孙益,方梦阳,何建宁,等.基于物联网和数据中台技术的自然资源要素综合观测平台构建[J].资源科学,2020,42(10):1965-1974.

[4]周扬,韩崔燕,李德勇,等.物联网中台操作系统关键技术研究及应用[J].科技与创新,2024,(05):183-187.DOI:10.15913/j.cnki.kjycx.2024.05.054.