Minusformer：通过渐进式学习残差改进时间序列预测
机器学习
2024-06-18 v3
摘要
在本文中，我们发现无处不在的时间序列（TS）预测模型容易产生严重的过拟合。为了应对这一问题，我们采用去冗余方法来逐步恢复未来区间TS的固有值。具体而言，我们引入了双流与减法机制，这是一种深度的Boosting集成学习方法。并且，通过将信息聚合机制从加法重新定向为减法，对原始Transformer进行了改造。然后，我们在原始模型的每个块中并入一个辅助输出分支，以构建一条通往最终预测的捷径。该分支中后续模块的输出将减去先前学习的结果，使模型能够逐层学习监督信号的残差。这种设计促进了学习驱动的输入与输出流的隐式渐进分解，赋予模型更高的通用性、可解释性以及抗过拟合能力。由于模型中的所有聚合均为减法运算，因此被称为Minusformer。大量实验表明，所提出的方法优于现有的SOTA方法，在多个数据集上平均性能提升了11.9%。代码已发布于https://github.com/Anoise/Minusformer。
引用
@article{arxiv.2402.02332,
title = {Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals},
author = {Daojun Liang and Haixia Zhang and Dongfeng Yuan and Bingzheng Zhang and Minggao Zhang},
journal= {arXiv preprint arXiv:2402.02332},
year = {2024}
}