VCformer：具内在滞后相关性的可变相关 Transformer 用于多变量时间序列预测
机器学习
2024-05-21 v1 人工智能
摘要
多变量时间序列（MTS）预测已在天气预测和能源消耗等多个领域得到广泛应用。然而，当前研究仍依赖于普通的点状自注意力机制来捕获跨变量依赖，这在提取变量之间隐含的复杂交叉相关方面不够。为填补这一空白，我们提出了可变相关 Transformer（VCformer），其利用可变相关注意力（VCA）模块来挖掘变量之间的相关性。具体而言，基于随机过程理论，VCA 计算并整合查询和键之间不同滞后对应的交叉相关得分，从而增强其发现多变量关系的能力。此外，受 Koopman 动力学理论启发，我们还开发了 Koopman 时序检测器（KTD）以更好地处理时间序列中的非平稳性。这两个关键组件使 VCformer 能够提取多变量相关性和时序依赖。我们的广泛实验在八个真实世界数据集上表明，VCformer 在性能上优于其他最先进的基线模型。代码已公开于本存储库：https://github.com/CSyyn/VCformer。
引用
@article{arxiv.2405.11470,
title = {VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting},
author = {Yingnan Yang and Qingling Zhu and Jianyong Chen},
journal= {arXiv preprint arXiv:2405.11470},
year = {2024}
}
备注
16 pages