CARD：面向时间序列预测的通道对齐鲁棒混合 Transformer
机器学习
2024-02-19 v5
摘要
近期研究已展示 Transformer 模型在时间序列预测中的强大能力。导致 Transformer 成功的关键要素之一是通道独立（CI）策略，用于提升训练鲁棒性。然而，CI 中忽略不同通道间的相关性会限制模型的预测能力。在本工作中，我们设计了一种特殊的 Transformer，即通道对齐鲁棒混合 Transformer（简称 CARD），解决了 CI 类 Transformer 在时间序列预测中的关键缺陷。首先，CARD 引入了通道对齐注意力结构，使其能够捕捉信号间的时间相关性以及多个变量随时间的动态依赖。其次，为高效利用多尺度知识，我们设计了一个令牌混合模块以生成不同分辨率的令牌。第三，我们引入了用于时间序列预测的鲁棒损失函数以缓解潜在的过拟合问题。该新损失函数基于预测不确定性对有限时域内预测的重要性进行加权。我们在多个长期和短期预测数据集上的评估表明，CARD 显著优于最先进的时间序列预测方法。代码可在以下仓库获取：https://github.com/wxie9/CARD
引用
@article{arxiv.2305.12095,
title = {CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting},
author = {Wang Xue and Tian Zhou and Qingsong Wen and Jinyang Gao and Bolin Ding and Rong Jin},
journal= {arXiv preprint arXiv:2305.12095},
year = {2024}
}
备注
ICLR 2024