请调优我的 Adam！
机器学习
2025-08-29 v2
摘要
Adam 优化器仍是深度学习中最广泛使用的优化器之一，其有效调优超参数是提高性能的关键。然而，这种调优既繁琐又昂贵。冻结-解冻贝叶斯优化 (Freeze-thaw Bayesian Optimization, BO) 是一种近期备受推崇的低预算超参数调优方法，但受限于缺乏关于超参数如何影响学习的先验知识的通用代理模型。我们提出了 Adam-PFN，这是一种用于调优 Adam 超参数的冻结-解冻 BO 新型代理模型，基于来自 TaskSet 的学习曲线进行预训练，同时引入了一种新的学习曲线数据增强方法——CDF-augment 人工增加可用训练样本的数量。我们的做法不仅改进了学习曲线的外推，还加速了在 TaskSet 评估任务中的超参数优化，在 OOD 任务上表现也优异。
引用
@article{arxiv.2508.19733,
title = {Tune My Adam, Please!},
author = {Theodoros Athanasiadis and Steven Adriaensen and Samuel Müller and Frank Hutter},
journal= {arXiv preprint arXiv:2508.19733},
year = {2025}
}
备注
Accepted as a short paper at the non-archival content track of AutoML 2025