S2TX：基于交叉注意力的跨尺度状态空间变换器用于时间序列预测
机器学习
2025-02-18 v1
摘要
时间序列预测近期通过多尺度模型取得了显著进展，以解决长短程模式之间的异质性问题。尽管其达到领先水平，但我们识别出两个潜在的改进方向：其一，多变量时间序列的变量是独立处理的；其二，多尺度（长程和短程）表征是由两个独立模型分别学习的，缺乏信息交互。在此基础上，我们提出了具备交叉注意力机制的状态空间变换器 S2TX。S2TX 采用交叉注意力机制，将用于提取长程跨变量上下文的 Mamba 模型与采用局部窗口注意力捕获短程表征的 Transformer 模型相结合。通过对全局上下文进行交叉注意，Transformer 模型进一步促进了变量层面的相互作用以及局部/全局之间的通信。在七个经典的长短程时间序列预测基准数据集上进行的全面实验表明，S2TX 能实现稳健的 SOTA 成绩，同时保持较低的内存占用。
引用
@article{arxiv.2502.11340,
title = {S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting},
author = {Zihao Wu and Juncheng Dong and Haoming Yang and Vahid Tarokh},
journal= {arXiv preprint arXiv:2502.11340},
year = {2025}
}