SCFormer：面向多元时间序列预测的带累积历史状态的结构化通道式Transformer
机器学习
2025-05-06 v1 人工智能
摘要
Transformer 模型通过利用通道式自注意力机制，在多元时间序列预测中展现出强大的性能。然而，这种方法在计算时间特征时缺乏时间约束，并且未能有效利用累积的历史序列。为了解决这些局限性，我们提出了带累积历史状态的结构化通道式 Transformer (SCFormer)。SCFormer 对所有线性变换引入了时间约束，包括查询、键、值矩阵以及 Transformer 内的全连接层。此外，SCFormer 采用高阶多项式投影算子 (HiPPO) 来处理累积的历史时间序列，使模型能够在预测时纳入回溯窗口之外的信息。在多个真实世界数据集上的大量实验表明，SCFormer 显著优于主流基线模型，突显了其在增强时间序列预测方面的有效性。代码已公开发布于 https://github.com/ShiweiGuo1995/SCFormer。
引用
@article{arxiv.2505.02655,
title = {SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting},
author = {Shiwei Guo and Ziang Chen and Yupeng Ma and Yunfei Han and Yi Wang},
journal= {arXiv preprint arXiv:2505.02655},
year = {2025}
}