用于时间序列预测的 VARMA 增强型 Transformer
机器学习
2025-09-08 v1 人工智能
摘要
基于 Transformer 的模型显著推进了时间序列预测。最近的工作，如纯交叉注意力时间序列 Transformer (CATS)，表明移除自注意力可以使模型更准确、更高效。然而，这些精简架构可能会忽略由经典统计模型（如向量自回归移动平均模型 (VARMA)）有效捕获的细粒度局部时间依赖性。为了填补这一空白，我们提出了 VARMAformer，这是一种新颖的架构，将纯交叉注意力框架的效率与经典时间序列分析的原理相结合。我们的模型引入了两项关键创新：(1) 一个专门的受 VARMA 启发的特征提取器 (VFE)，在 patch 级别显式地对自回归 (AR) 和移动平均 (MA) 模式进行建模，以及 (2) 一个 VARMA 增强注意力 (VE-atten) 机制，该机制采用时间门控使查询更具上下文感知能力。通过将这些经典见解融合到现代主干网络中，VARMAformer 同时捕获了全局、长距离依赖性和局部统计结构。通过在广泛使用的基准数据集上进行的大量实验，我们证明我们的模型始终优于现有的 SOTA 方法。我们的工作验证了将经典统计见解整合到现代深度学习时间序列预测框架中的显著益处。
引用
@article{arxiv.2509.04782,
title = {VARMA-Enhanced Transformer for Time Series Forecasting},
author = {Jiajun Song and Xiaoou Liu},
journal= {arXiv preprint arXiv:2509.04782},
year = {2025}
}
备注
The Pacific Rim International Conference on Artificial Intelligence - PRICAI2025