WaveRoRA：用于多元时间序列预测的小波旋转路由注意力
机器学习
2024-11-22 v2
摘要
近年来，基于 Transformer 的模型在多元时间序列预测（MTSF）中取得了显著成功。然而，先前的工作侧重于从时域或频域提取特征，这不足以捕捉趋势和周期性特征。为解决此问题，我们提出了一种小波学习框架来建模时间序列数据的复杂时序依赖关系。小波域整合了时间和频率信息，允许在不同尺度上分析信号的局部特征。此外，Transformer 使用的 Softmax 自注意力机制具有二次复杂度，这在捕捉长期依赖时会导致过高的计算成本。因此，我们提出了一种新颖的注意力机制：旋转路由注意力（RoRA）。与 Softmax 注意力不同，RoRA 利用旋转位置嵌入将相对位置信息注入序列令牌，并引入少量路由令牌 来聚合来自 矩阵的信息并将其重新分配给 矩阵，从而提供线性复杂度。我们进一步提出了 WaveRoRA，它利用 RoRA 在小波域中捕获序列间依赖关系。我们在八个真实世界数据集上进行了广泛的实验。结果表明，WaveRoRA 在保持较低计算成本的同时，性能优于现有的最先进模型。我们的代码可在 https://github.com/Leopold2333/WaveRoRA 获取。
引用
@article{arxiv.2410.22649,
title = {WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting},
author = {Aobo Liang and Yan Sun and Nadra Guizani},
journal= {arXiv preprint arXiv:2410.22649},
year = {2024}
}
备注
Model architecture changed