WAVE：加权自回归可变门控用于时间序列预测
机器学习
2026-02-06 v4 人工智能
机器学习
摘要
我们提出了加权自回归可变门控（WAVE）注意力机制，包含自回归（AR）和移动平均（MA）组件。它能够适应各种注意力机制，增强并解耦其捕捉时间序列数据中长程和局部模式的能力。本文首先表明，对于时间序列预测（TSF）任务，通过合适的标记化和训练方法，之前被忽视的仅解码器自回归 Transformer 模型可实现相当于最佳基准的性能。此外，灵感来自统计学中的 ARMA 模型以及最近在线性注意力方面的进展，我们将完整的 ARMA 结构引入现有的自回归注意力机制中。通过一种间接的 MA 权重生成方法，我们在保持底层高效注意力模型的时间复杂度和参数规模的前提下，将 MA 项纳入其中。我们进一步探讨了间接参数生成如何产生与局部时间影响建模要求相匹配的隐式 MA 权重。实验结果表明，包含 ARMA 结构的 WAVE 注意力在 TSF 任务中持续显著提升各种 AR 注意力的性能，实现了最新成果。
引用
@article{arxiv.2410.03159,
title = {WAVE: Weighted Autoregressive Varying Gate for Time Series Forecasting},
author = {Jiecheng Lu and Xu Han and Yan Sun and Shihao Yang},
journal= {arXiv preprint arXiv:2410.03159},
year = {2026}
}
备注
Camera-ready version. Accepted at ICML 2025