Scaleformer：用于时间序列预测的迭代多尺度精炼 Transformer
机器学习
2023-02-08 v4
摘要
近年来，时间序列预测的性能因 Transformer 的引入而得到极大提升。在本文中，我们提出了一个通用的多尺度框架，可应用于最先进的基于 Transformer 的时间序列预测模型（FEDformer、Autoformer 等）。通过以共享权重在多个尺度上迭代精炼预测的时间序列，引入架构适配以及一种专门设计的归一化方案，我们能够在数据集和 Transformer 架构上实现从 5.5% 到 38.5% 的显著性能提升，且额外计算开销极小。通过详细的消融研究，我们证明了我们的各项架构与方法学贡献的有效性。此外，我们在多个公开数据集上的实验表明，所提出的改进优于其相应的基线对应方法。我们的代码公开于 https://github.com/BorealisAI/scaleformer。
引用
@article{arxiv.2206.04038,
title = {Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting},
author = {Amin Shabani and Amir Abdi and Lili Meng and Tristan Sylvain},
journal= {arXiv preprint arXiv:2206.04038},
year = {2023}
}
备注
ICLR 2023