面向超参数优化的自动终止准则
机器学习
2022-07-25 v4 人工智能
机器学习
摘要
贝叶斯优化(BO)是机器学习中超参数优化(HPO)的一种广受欢迎的方法。其核心是,BO 迭代评估有前景的配置,直到用户定义的预算(如挂钟时间或迭代次数)耗尽。虽然调优后的最终性能严重依赖于所提供的预算,但很难提前预先指定一个最优值。在这项工作中,我们提出了一种有效且直观的 BO 终止准则,当过程足够接近全局最优时自动停止该过程。我们的关键见解是,真实目标(测试数据上的预测性能)与可计算目标(验证性能)之间的差异表明:一旦优化目标时的次优性被统计估计误差所主导,即可停止。在大量真实世界 HPO 问题和基线上,我们表明我们的终止准则在测试性能和优化时间之间实现了更好的权衡。此外,我们发现过拟合可能出现在 HPO 情境中,这在文献中可以说是一个被忽视的问题,并展示了我们的终止准则如何帮助在小型和大型数据集上缓解这一现象。
引用
@article{arxiv.2104.08166,
title = {Automatic Termination for Hyperparameter Optimization},
author = {Anastasia Makarova and Huibin Shen and Valerio Perrone and Aaron Klein and Jean Baptiste Faddoul and Andreas Krause and Matthias Seeger and Cedric Archambeau},
journal= {arXiv preprint arXiv:2104.08166},
year = {2022}
}
备注
Accepted at AutoML Conference 2022