多保真超参数优化是否仅需一个 epoch？
机器学习
2023-09-27 v2
摘要
超参数优化（HPO）对微调机器学习模型至关重要，但计算开销可能很大。为降低成本，多保真 HPO（MF-HPO）利用学习过程中的中间精度水平并尽早丢弃低性能模型。我们在经典基准数据上将多种代表性 MF-HPO 方法与一个简单基线比较。该基线仅在训练一个 epoch 后保留 Top-K 模型并丢弃其余，再进一步训练以选出最佳模型。令人惊讶的是，该基线取得了与同类方法相似的结果，而计算量仅需一个数量级更小。分析基准数据学习曲线后，我们观察到少数主导学习曲线，这解释了基线的成功。这表明研究者应（1）在基准中始终使用所提基线，且（2）拓宽 MF-HPO 基准的多样性以涵盖更复杂情形。
引用
@article{arxiv.2307.15422,
title = {Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization?},
author = {Romain Egele and Isabelle Guyon and Yixuan Sun and Prasanna Balaprakash},
journal= {arXiv preprint arXiv:2307.15422},
year = {2023}
}
备注
5 pages, with extended appendices