注意力作为时间序列预测的鲁棒表征
机器学习
2024-02-09 v1 人工智能
摘要
时间序列预测对许多实际应用至关重要，基于 Transformer 的模型因其在自然语言处理和计算机视觉中的出色表现而日益受到采用。Transformer 的关键特性——注意力机制，通过动态融合嵌入来增强数据表征，但注意力权重常被降格为副产品。然而，时间序列数据具有噪声和非平稳性特征，给预测带来了重大挑战。我们的方法将注意力权重提升为时间序列的主要表征，利用数据点之间的时间关系来提高预测精度。研究表明，利用全局地标和局部窗口构建的注意力图，可作为数据点的鲁棒核表征，能够抵御噪声和分布偏移。我们的方法在不改变核心神经网络架构的情况下，优于最先进的模型，将多元时间序列预测的均方误差显著降低了 3.6%。该方法可作为一个通用组件，直接替代 Transformer 模型中近期基于分块的嵌入方案，从而提升其性能。
引用
@article{arxiv.2402.05370,
title = {Attention as Robust Representation for Time Series Forecasting},
author = {PeiSong Niu and Tian Zhou and Xue Wang and Liang Sun and Rong Jin},
journal= {arXiv preprint arXiv:2402.05370},
year = {2024}
}