时间序列预测的深度双下降：避免欠训练模型
机器学习
2023-12-01 v3
摘要
深度学习模型，尤其是Transformers，已在包括时间序列预测在内的多个领域取得令人印象深刻的成果。尽管现有时间序列文献主要关注模型架构修改与数据增强技术，本文探讨了深度学习模型用于时间序列的训练方案；即无论架构如何，模型是如何被训练的。我们进行了大量实验，以研究在公开时间序列数据集上训练的若干Transformer模型中深度双下降的出现。我们展示了按周期的深层双下降，以及过拟合可通过更多周期得以逆转。利用这些发现，我们在所测试的72个基准中近70%的长序列时间序列预测上取得了最先进(state-of-the-art, SOTA)结果。这表明文献中的许多模型可能具有未开发的潜力。此外，我们引入了一种用于分类训练方案修改的分类法，涵盖数据增强、模型输入、模型目标、每模型时间序列以及计算预算。
引用
@article{arxiv.2311.01442,
title = {Deep Double Descent for Time Series Forecasting: Avoiding Undertrained Models},
author = {Valentino Assandri and Sam Heshmati and Burhaneddin Yaman and Anton Iakovlev and Ariel Emiliano Repetur},
journal= {arXiv preprint arXiv:2311.01442},
year = {2023}
}