MTS-Mixers:基于时序与通道分解混合的多变量时间序列预测
机器学习
2023-02-10 v1 人工智能
摘要
多变量时间序列预测已广泛应用于各种实际场景。近来,基于 Transformer 的模型因能捕捉长程依赖而在预测任务中展现出显著潜力。然而,视觉和 NLP 领域近期研究表明,注意力模块的作用并不明确,可被其他令牌聚合操作替代。本文探讨了注意力机制对时间序列预测性能的贡献与不足。具体而言,我们发现 (1) 捕捉时间依赖不一定需要注意力,(2) 时间与通道交互捕捉中的纠缠与冗余影响预测性能,以及 (3) 对输入与预测序列间映射建模十分重要。为此,我们提出 MTS-Mixers,其使用两个分解模块分别捕捉时间与通道依赖。在多个真实数据集上的实验结果表明,MTS-Mixers 以更高效率优于现有基于 Transformer 的模型。
引用
@article{arxiv.2302.04501,
title = {MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing},
author = {Zhe Li and Zhongwen Rao and Lujia Pan and Zenglin Xu},
journal= {arXiv preprint arXiv:2302.04501},
year = {2023}
}
备注
14 pages, 25 figures