PriorBand：深度学习时代的实用超参数优化
机器学习
2023-11-16 v2
摘要
深度学习（DL）流水线的超参数对其下游性能至关重要。尽管已开发大量超参数优化（HPO）方法，但其产生的成本对现代 DL 往往难以承受。因此，手动实验仍是最普遍的超参数优化方式，依赖研究者的直觉、领域知识和廉价的初步探索。为解决 HPO 算法与 DL 研究者之间的这种错位，我们提出 PriorBand，一种为 DL 量身定制、能够利用专家信念和廉价代理任务的 HPO 算法。我们通过经验证明了 PriorBand 在一系列 DL 基准上的效率，并展示了其在信息丰富的专家输入下的收益以及对不良专家信念的鲁棒性。
引用
@article{arxiv.2306.12370,
title = {PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning},
author = {Neeratyoy Mallik and Edward Bergman and Carl Hvarfner and Danny Stoll and Maciej Janowski and Marius Lindauer and Luigi Nardi and Frank Hutter},
journal= {arXiv preprint arXiv:2306.12370},
year = {2023}
}