北方自动控制技术研究所 山西太原 030006
摘要:时间序列作为时间观测值的集合,在机器学习和人工智能领域引发了广泛的关注。时间序列预测是获取未来趋势的重要课题之一,研究结果可以为各种应用提供依据,例如优化、控制以及生产计划等。因此,已经提出了许多模型来解决这个问题。但是时间序列数据往往呈现出非平稳、非线性和多维度等特点,单一的深度学习模型难以有效提取时间序列的深层特征,难以挖掘数据的内在特性和识别出数据间的潜在模式。
关键词:数据分析,时间序列预测,时间协变量漂移;深度学习
前言:随着大数据时代的发展,数据的数量、种类不断激增。其中,时间序列数据是一种重要的数据形式,分布广泛且多样,其研究价值日益凸显。时间序列预测是信号处理领域的研究方向之一。借助时间序列分析与预测,人们利用各种算法对时间信号进行建模和处理,挖掘其内在规律,以达到预测未来值的目的。高精度的预测模型可以帮助相关人员更好地进行决策,从而减少风险,提高收益,在许多场景中具有很高的应用价值。
1.深度学习理论基础
RNN起源于Hopfield在1982年提出的霍普菲尔德网络,是一种具有反馈结构的神经网络。从图中可以看出,每一个时间点都有一个单独的神经网络结构,且每一个神经网络结构都由三部分组成:输入层、隐藏层和输出层,每一时刻的网络结构都会将隐藏层的状态传递给下一时刻的隐藏层,因此每一时刻的网络输出不但与当前输入有关,而且也受之前时刻的网络输入影响。换句话说则为:每一时刻的隐藏层的信息不仅仅进入到输出层,还会传递到下一时刻的隐藏层中,而这传递的信息就是序列数据在时间方向上的特征信息。
数据分析问题目前在业界与学界仍是研究焦点,由闫等人的调研可知:白宫行政管理和预算办公室在2019年发表了《联邦数据战略与2020年行动计划》,展望了未来十年联邦支持大数据的愿景;英国在2020年颁布《国家数据战略》,以鼓励国家使用数据,帮助英国经济从疫情中恢复;德国在2021年颁布《联邦政府数据战略》,建设可持续的数据基础设施,鼓励数据创新和负责任的应用,增强数字化能力和建设数字文明,加强了国家数字管理;我国的工业和信息化部在2021年颁布了《"十四五"大数据产业发展规划》,提出加强大数据分析的制度建立。与此同时,相关学者从数据分析关键技术中的异常检测、入侵检测、时间序列预测等角度展开研究。然而,现有研究在时间序列预测方面存在许多局限性,没有考虑到数据量大时训练的时长,忽视了模型泛化性,缺乏一个兼具准确性及时效性和泛化性一体的预测模型。
2.数据分析技术发展
这几年,由于计算机硬件的蓬勃发展,计算能力、存储资源容量和智能程度也在持续提升,同时价格也在持续降低,而云计算、物联网以及移动互联网的数据量和应用也呈现了爆发式增长,我们正在向GB时代、TB时代、PB时代进军,并且正在向EB时代进军。基于BM的研究成果,人类历史大约90%的历史数据都是在过去两年中所得到的,随着人类生成的数据量呈指数式形式增长,每两年翻一番。海量的数据为科学研究提供了极大的便利。然而,与此同时也带来了很多问题,如“信息孤岛”现象、数据冗余、数据格式混乱、数据隐私泄露等等。人类已经跨入了大数据时代,在这个特殊的时代之下,各种传统学科都在随之变化,数据分析与大数据分析无明显的界限。根据《全球大数据消费指南》可知,在2021-2025这五年间内预测全球大数据市场预计将以约12.8%的复合增长率,在2025年全球的大数据市场规模预测将达到3,3500亿美元以上。美国和日本的大数据产业非常强大,其中欧洲领先。随着互联网技术和应用不断向纵深领域拓展,大数据在经济社会转型升级以及促进创新驱动方面正起着引领性作用,是提升国家治理能力的重要力量。当前,大数据已进入快速发展期。如今,大数据已被全球视为未来经济增长的新引擎之一,大数据产业投资力度也在加大。大数据分析在市场规模上的持续扩大也使得大数据分析技术在持续提高其技术水平,与此同时大数据的应用范围也随之扩大。大数据分析技术现已经广泛应用于生命健康领域、金融业、制造业、能源行业、城市管理等领域。为了占领大数据市场,世界上主要大国从2012年起争相将大数据写入国家战略同时开始重点部署。
3.时间序列预测方法分类
时间序列预测研究结果可为各种应用提供基础,例如生产计划、控制、优化等。因此,学者们提出了很多模型来解决这个问题。例如自回归ARIMA,基于滤波的方法,支持向量机等。面对高维数据分析和有效表示复杂的函数方面,传统的预测技术受到了限制。而且,设计一种高效的机器学习系统需要非常多的计算机应用知识。最近,深度学习在人工智能领域其领袖作用,它描述了通过多个层次在更高的、更抽象的层次上表示潜在特征的模型。这些表示是从数据中学习的,而不是由人类工程师构建的。由于这些优点,基于深度学习的模型已成功运用在时间序列预测有关的诸多领域,包括遥感、多传感器融合等。它们还被探索为发现多个时间序列之间复杂关系的有效途径。尽管各种深度学习模式都很有效,但我们注意到它们都有各自的优缺点。
4.时间序列预测中Transformer网络修改
4.1位置编码
由于变换器是置换等价的,并且时间序列的顺序很重要,所以将输入时间序列的位置编码到变换器中是非常重要的。一种常见的设计是,首先将位置信息编码为向量,然后将其作为附加输入与输入时间序列一起注入模型。在用Transformer对时间序列建模时,如何获得这些向量可分为三大类。Vanilla位置编码:一些作品简单介绍了2017年Vanilla使用的普通位置编码,然后将其添加到输入时间序列嵌入中,并馈送到Transformer。虽然这个简单的应用程序可以从时间序列中提取一些位置信息,但它们无法充分利用时间序列数据的重要特征。可学习的位置编码:由于vallina位置编码是手工制作的,表达性和适应性较差,一些研究发现,从时间序列数据中学习适当的位置嵌入可能更有效。与固定位置编码相比,学习嵌入更加灵活,能够适应特定任务。2021年Zerveas等人在Transformer中引入一个嵌入层,该嵌入层与其他模型参数一起学习每个位置索引的嵌入向量。2019年Lim等人使用LSTM网络对位置嵌入进行编码,目的是更好地利用时间序列中的顺序信息。时间戳编码:在真实场景中建模时间序列时,时间戳信息通常是可访问的,包括日历时间戳(例如秒、分钟、小时、周、月和年)和特殊时间戳(例如假日和事件)。这些时间戳在实际应用中提供了大量信息,但在普通Transformer中几乎没有使用。为了缓解这个问题,Informer是2021年Zhou等人提出,通过使用可学习的嵌入层将时间戳编码为额外的位置编码。2021年Wu等人提出的Autoformer和2022年Zhou等人提出的FEDformer使用了类似的时间戳编码方案。
4.2架构级创新
除了适应Transformer中用于建模时间序列的各个模块外,许多作品寻求在体系结构层面上更新Transformer。最近的工作将层次结构引入到Transformer中,以考虑时间序列的多分辨率方面。2021年Zhou等人提出的Informer在注意块之间插入了具有跨步2的最大池层,将样本序列向下放入其半个切片中。2022年Liu等人[55]提出的Pyraformer设计了一种基于C元树的注意机制,其中最细尺度的节点对应于原始时间序列,而较粗尺度的节点代表较低分辨率的序列。Pyraformer开发了尺度内和尺度间的注意,以便更好地捕捉不同分辨率之间的时间依赖性。除了能够以不同的多分辨率整合信息外,层次结构还具有高效计算的优势,尤其是对于长时间序列。
4.3自我注意力模块
Transformer的核心是自我关注模块。它可以被视为一个完全连接的层,其权重是根据输入模式的成对相似性动态生成的。因此,它与完全连接的层共享相同的最大路径长度,但参数数量要少得多,因此适合建模长期依赖关系。Vanilla Transformer中的自我注意模块的时间和内存复杂性为O(𝑁2),其中,N是输入时间序列长度,这成为处理长序列时的计算瓶颈。
5.结束语:
综上所述,,深度学习技术因其强大的特征提取能力和数据学习能力在许多应用方面取得了令人瞩目的成就。深度学习技术为时间序列预测任务注入了新的活力,提供了新的研究方法,为各个领域的高精度预测提供了可靠的技术支持。
参考文献:
[1] Hoermann S, Bach M, Dietmayer K. Dynamic occupancy grid prediction for urban autonomous driving: A deep learning approach with fully automatic labeling[C]//2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018: 2056-2063.
[2] Ding X, Zhang Y, Liu T, et al. Deep learning for event-driven stock prediction[C]//Twentyfourth international joint conference on artificial intelligence. 2015.
[3] Zhang J, Zheng Y, Qi D. Deep spatio-temporal residual networks for citywide crowd flows prediction[C]//Thirty-first AAAI conference on artificial intelligence. 2017.