聊城市市政工程管理服务中心 山东 聊城 252000
摘要:随着信息社会的快速发展,各类型数据海量增长,标志着当今社会进入到大数据时代。在城市防汛工作中,通过对大数据的统计分析、数据挖掘等,深入挖掘数据背后的规律,可以为防汛工作高质高效开展提供数据支持。鉴于此,基于提高城市防汛工作效果角度考虑,本文通过分析数据挖掘技术的流程和方法,进一步以城市防汛为落脚点,深入研究数据挖掘技术的具体应用,希望给城市防汛工作者的具体工作提供可行建议。
关键词:数据挖掘技术;城市防汛;应用
近年来,我国城市进程推进速度加快,但城市内涝问题一直未能得到有效解决,制约着城市建设的可持续发展。在此背景下,城市防汛已经成为城市建设者重点思考的问题。因此,城市防汛工作逐渐受到越来越多人的关注和重视。但由于部分城市存在基础设施老化、管理模式粗放,信息化水平不高等问题,导致城市防汛工作难以高质高效地展开。针对城市防汛工作中的具体问题,充分利用数据挖掘技术,对海量数据进行协同分析,即可快速制定出严格且有效地应对措施,对提高城市防汛工作效果具有积极的作用。鉴于此,本文深入研究“城市防汛中数据挖掘技术的应用”具有一定的必要性和重要性。
1.数据挖掘技术的应用流程和方法分析
1.1数据准备
在数据挖掘之前,应进行必要的数据准备工作,主要包括数据理解、数据整理和数据结构化三方面的内容,具体如下:
(1)数据理解。基于具体业务需求,综合分析业务流程和目的,并有机结合业务诉求和数据挖掘技术。在数据挖掘工作中,数据理解是重要的一个环节,且是难点工作,只有对具体业务进行正确的梳理,全面了解业务的诉求,才能科学确定哪些业务数据具有利用价值,并可以通过数据挖掘技术获得哪些结果[1]。只有做好数据理解工作,才能充分利用数据挖掘技术来获取有效的分析结果,并为业务工作提供支持。
(2)数据整理。在城市防汛工作中,为提高防汛工作水平,相关工作人员应对基础地理数据、气象等数据进行综合分析,才能制定出有效防汛工作对策。但基础地理数据、气象等业务数据具有来源广泛,类型丰富等显著特征,由于历史原因可能会影响数据分析结果的真实可靠性和有效性[2]。因此,在数据分析处理前,应对数据进行整理,针对一些丧失价值或者不合理的数据,应进行清除,以此提高数据质量,为后续数据分析提供支持。
(3)数据结构化。机器学习目的在于使得计算机了解业务需求,通过数据结构化将业务需求以矩阵、图形等方式展示出来,使得计算机可以正确了解业务需求。此环节的具体操作有业务需求和数据挖掘技术需求共同决定,前者决定业务数据的内容和类型;后者决定数据结构化的具体方式[3]。
1.2数据挖掘
数据挖掘方法众多,具体包括统计学方法、基于机器学习的数据挖掘方法等,而基于城市防汛工作角度而言,比较实用的方法有主成分分析、聚类分析等,不同算法各有利弊,要求结合城市防汛工作的具体业务需求,合理地选用数据挖掘技术,才能确保数据分析结果的有效性[4]。首先,主成分分析,广泛应用多变量分析中,针对预测对象,将影响结果的各种变量中的重复变量进行剔除,以此建立最少的新变量组,并确保组内变量互不相干,继而在主成分分析中获得重点内容及主要特征。其次,聚类分析,指的是基于数据共同特点进行数据对象的划分,随后通过聚类分析将数据中业务数据映射在某个定义类别中,以此将海量无序的各类型数据整合划分为不同的类别,可以整合提取出海量数据的特征。
1.3评估和分析结果
鉴于数据挖掘技术应用局限于事物之间的关系分析,而没有考虑事物的物理机制和因果关系,要求对数据分析结果进行评估,具体是通过与实际情况的横向比对,分析计算结果与一般认知是否相符,并反推造成这种关系的原因[5]。因此,只有通过结果分析与评估,才能确保数据挖掘结果的有效性和真实可靠性,继而才能应用在具体的城市防汛工作中。由此可见,结果评估与分析实质上对数据挖掘的结果进行验证的过程,只有结果评估与分析都是合理的,则可以提高数据挖掘结果的有效性,进而才能推广应用在具体的业务工作中。
2.城市防汛中数据挖掘技术的具体应用分析
2.1多源数据共享和汇集
近年来,我国城市防汛工作信息化水平持续提升,在数据汇集、共享等领域,已经实现了多部门的合作,初步建立了防灾大数据中心、防汛指挥决策平台和信息服务平台。在平台支持下,多部门的多源数据汇集、共享、存储等操作得以实现。而城市防汛工作虽然在多源数据汇集统计分析与结果展示等方面,取得了显著成效,但对于数据的深度挖掘和特征的提取等工作,尤其是数据汇集后的相关性分析等系列工作未能深度开展,不利于海量业务数据的挖掘。同时,在多源数据汇集分析时,并非所有数据适合进行大数据分析。另外,降雨资料作为城市防汛工作中,质量最佳、样本数据丰富且最适合进行数据挖掘的第一手资料,应充分利用数据挖掘技术来深度开展降雨资料的挖掘工作,从中获得有价值的业务数据,为优化城市防汛工作决策提供数据支持,进而才能确保城市系统运行免受内涝的影响。
2.2数据分析与挖掘
在城市降雨资料挖掘工作中,降雨雨型、降雨时空分布特征等,都是重点研究内容,且持续进行着。随着降雨数据采集和传输技术的进一步发展,外加硬盘存储成本的降低,使得降雨数据样本更加丰富,为提高降雨数据分析结果的有效性提供了支持。基于海量降雨样本数据,利用人工智能技术对降雨时空分布进行识别、预测等操作,都变得具有一定的可能。例如:以年降雨量分布为基础,把模式识别的聚类分析理论方法引进降雨空间特征分类研究中,进行降雨特征空间分布模式识别,预测无雨量站点的降雨模式,继而科学分析水资源的空间分布模式,为制定出科学合理且有效的水资源利用方式。除此之外,由于城市防汛工作精细化管理,需要深入分析当地降雨时空分布特征,而传统以单站雨型代表整个区域降雨特征的分析方法,显然难以满足这一具体要求。针对这种情况,在暴雨时空分布特征研究中,应引进机器算法,利用动态聚类算法提取地区短历时暴雨的时空分布动态特征,进而将研究成果与城市防汛工作结合起来,即可为城市防汛工作决策提供有价值的分析结果,对提高城市防汛工作质量具有积极作用。
3.结语
综上所述,近年来,我国城市化建设速度十分迅速,城市人口和财富聚集速度也随之增加。在此背景下,城市内涝造成的灾害损失也随之增加,这使得越来越多人关注和重视城市防汛工作。但我国城市防汛工作整体水平偏低,这要求充分利用数据挖掘技术,对海量数据进行协同分析,以此获得有价值的业务数据,为城市防汛工作决策的优化提供数据支持,只有这样,才能全面提升我国城市防汛工作效率和质量,为我国城市建设的可持续发展提供支持。
参考文献:
[1]陆人杰.数据挖掘技术在城市轨道交通信息系统中的应用[J].通信电源技术,2020,37(08):139-141.
[2]万以恒.关于大数据挖掘技术在城市交通疏解中的应用研究[J].通讯世界,2018,25(12):294-295.
[3]胡文红,孙欣欣.基于时间序列的数据挖掘技术在城市内涝灾害中的应用研究[J].科技通报,2016,32(06):229-231+244.
[4]赖晓亮.防汛抗旱决策辅助系统设计与实现[J].中国水运(下半月),2012,12(04):81-82.
[5]刘浩,尹四清.数据挖掘技术在“数字黄河”工程建设中的应用[J].电脑知识与技术,2009,5(01):23-24.