高性价比在线超参数优化
机器学习
2021-01-19 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
近期关于超参数优化（HPO）的研究显示了将某些超参数与常规参数一同训练的可能性。然而，这些在线HPO算法仍须在每步训练时对验证样本集运行评估，急剧增加了训练成本。为决定何时查询验证损失，我们将在线HPO建模为时变贝叶斯优化问题，并在此之上提出一种新颖的代价反馈设置以刻画查询成本的概念。在此设置下，标准算法因每轮都在验证集上评估而成本高昂。相比之下，本文提出的低成本 GP-UCB 算法仅在模型对当前决策信心不足时查询未知函数。我们通过在 CIFAR-10 与 ImageNet100 上为 VGG 和 ResNet 在线调节超参数来评估所提算法。我们的在线HPO算法在单次实验运行内达到人类专家水平性能，同时相较常规训练仅产生 modest 的计算开销。
引用
@article{arxiv.2101.06590,
title = {Cost-Efficient Online Hyperparameter Optimization},
author = {Jingkang Wang and Mengye Ren and Ilija Bogunovic and Yuwen Xiong and Raquel Urtasun},
journal= {arXiv preprint arXiv:2101.06590},
year = {2021}
}