面向基于 Transformer 的时间序列预测模型的统一超参数优化管线
机器学习
2025-01-03 v1 人工智能
摘要
基于 Transformer 的时间序列预测 (TSF) 模型近年来因其有效性和多样性而受到广泛关注。然而，这些模型通常需要进行大量的超参数优化 (HPO) 才能实现最佳性能，而针对基于 Transformer 的 TSF 的统一管线尚未形成。本文提出了这样一个管线，并在几个最先进 (SOTA) 基于 Transformer 的 TSF 模型上进行了大量实验。这些实验在标准基准数据集上进行，以评估和比较不同模型的性能，生成实用见解和示例。我们的管线超越了基于 Transformer 的架构，可应用于其他 SOTA 模型，如 Mamba 和 TimeMixer，如我们的实验所示。本工作旨在为行业从业者和学术研究人员在高效识别适用于其特定领域应用的最优超参数方面提供有价值的指导。代码和完整的实验结果均已在 GitHub 上提供。
引用
@article{arxiv.2501.01394,
title = {A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models},
author = {Jingjing Xu and Caesar Wu and Yuan-Fang Li and Grégoire Danoy and Pascal Bouvry},
journal= {arXiv preprint arXiv:2501.01394},
year = {2025}
}