面向高效超参数调优的费用敏感冻结-解冻贝叶斯优化
机器学习
2025-10-27 v1
摘要
本文解决的是基于冻结-解冻贝叶斯优化 (freeze-thaw BO) 的费用敏感超参数优化 (HPO) 问题。具体而言，我们假设用户希望在预期性能改进不令人满意且计算成本无法接受时，提前终止 HPO 过程。为此场景，我们在冻结-解冻框架中引入 \emph{效用} (utility) 函数，描述计算成本与可获得性能之间的权衡，该效用函数可从用户偏好数据中估计。结合我们新近提出的获取函数和停止准则，该效用函数使我们能够动态地继续训练我们预计在未来能最大化提升效用的配置，同时自动在效用最大化附近终止 HPO 过程。此外，我们通过迁移学习提高了现有冻结-解冻方法的样本效率，以为费用敏感 HPO 问题开发专门的代理模型。我们在既定的多保真 HPO 基准上验证了该算法，结果表明它在考虑费用与性能权衡方面，优于所有我们考虑的以前的冻结-解冻 BO 和 transfer-BO 基线。我们的代码已公开于 https://github.com/db-Lee/CFBO。
引用
@article{arxiv.2510.21379,
title = {Cost-Sensitive Freeze-thaw Bayesian Optimization for Efficient Hyperparameter Tuning},
author = {Dong Bok Lee and Aoxuan Silvia Zhang and Byungjoo Kim and Junhyeon Park and Steven Adriaensen and Juho Lee and Sung Ju Hwang and Hae Beom Lee},
journal= {arXiv preprint arXiv:2510.21379},
year = {2025}
}
备注
Published at NeurIPS 2025