Autoformer：基于自相关分解 Transformer 的长时序预测模型
机器学习
2022-01-10 v5 人工智能
摘要
延长预测时长在实际应用中至关重要，例如极端天气预警与长期能耗规划。本文研究时间序列的长程预测问题。先前基于 Transformer 的模型采用多种自注意力机制来发现长距离依赖。然而，长期未来的复杂时间模式阻碍了模型找到可靠的依赖关系。同时，Transformer 不得不对长序列采用点级自注意力的稀疏版本以保证效率，导致了信息利用瓶颈。超越 Transformer，我们设计了 Autoformer 作为一种具有自相关机制的新颖分解架构。我们打破了序列分解的预处理惯例，将其革新为深度模型的基本内部模块。该设计赋予 Autoformer 对复杂时间序列的渐进式分解能力。进一步，受随机过程理论启发，我们基于序列周期性设计了自相关机制，在子序列层面进行依赖发现与表示聚合。自相关在效率与精度上均优于自注意力。在长期预测中，Autoformer 取得了最先进的精度，在涵盖能源、交通、经济、天气与疾病五个实际应用的六个基准上相对提升 38%。代码见仓库：\url{https://github.com/thuml/Autoformer}。
引用
@article{arxiv.2106.13008,
title = {Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting},
author = {Haixu Wu and Jiehui Xu and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2106.13008},
year = {2022}
}