用于超参数优化的上下文内冻结-解冻贝叶斯优化
机器学习
2024-08-14 v3
摘要
随着深度学习相关计算成本的增加，严重依赖黑盒贝叶斯优化 (BO) 的自动超参数优化方法面临局限性。冻结-解冻 BO 提供了一种有前景的灰盒替代方案，策略性地将稀缺资源增量分配给不同的配置。然而，该方法固有的频繁代理模型更新给现有方法带来了挑战，需要在线重训练或微调其神经网络代理模型，引入了额外开销、不稳定性和超超参数。在这项工作中，我们提出了 FT-PFN，一种用于冻结-解冻式 BO 的新型代理模型。FT-PFN 是一个先验数据拟合网络 (PFN)，利用 Transformer 的上下文内学习能力，在单次前向传播中高效可靠地进行贝叶斯学习曲线外推。我们在三个基准测试套件上的实证分析表明，FT-PFN 的预测比先前工作中使用的深度高斯过程和深度集成代理模型更准确，且速度快 10-100 倍。此外，我们表明，当与我们的新型采集机制 (MFPI-random) 相结合时，所得到的上下文内冻结-解冻 BO 方法 在先前工作所考虑的相同三个深度学习 HPO 基准测试族中，取得了新的 SOTA 性能。
引用
@article{arxiv.2404.16795,
title = {In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization},
author = {Herilalaina Rakotoarison and Steven Adriaensen and Neeratyoy Mallik and Samir Garibov and Edward Bergman and Frank Hutter},
journal= {arXiv preprint arXiv:2404.16795},
year = {2024}
}
备注
Published at the 41st International Conference on Machine Learning (ICML), Vienna, Austria