Ister：用于高效多变量时间序列预测的线性 Transformer
机器学习
2026-05-12 v3 人工智能
摘要
Transformer 模型在多变量时间序列预测 (MTSF) 中通过捕捉长程依赖性取得了显著成功。然而,其广泛应用受限于自注意力的二次计算复杂度,这限制了在高维序列上的可扩展性。为此,我们提出一种倒置季节性-趋势分解 Transformer (Ister),一种新型架构旨在增强预测准确性和计算效率。Ister 的核心是 Dot 注意力,一种线性复杂度注意力机制,用元素级点积运算取代常规多头自注意力以建模序列间依赖性。此外,我们引入倒置季节性-趋势分解策略,以隔离周期性成分,使模型能够专注于学习周期模式,从而提高通道对齐性能。跨越多个真实世界基准的广泛实验表明,Ister 持续实现了最先进的性能。代码已在 https://github.com/macovaseas/Ister 提供。
引用
@article{arxiv.2412.18798,
title = {Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting},
author = {Fanpu Cao and Shu Yang and Zhengjian Chen and Ye Liu and Laizhong Cui},
journal= {arXiv preprint arXiv:2412.18798},
year = {2026}
}
备注
ICASSP 2026