FlexHB：一种更高效灵活的超参数优化框架
机器学习
2024-02-22 v1
摘要
给定一个超参数优化 (HPO) 问题，如何设计一种算法以高效地找到最优配置？贝叶斯优化 (BO) 和多保真度 BO 方法采用代理模型，基于历史评估来采样配置。更近期的研究通过将 BO 与 HyperBand (HB) 集成获得了更好的性能，后者通过早停机制加速评估。然而，这些方法忽略了合适的评估方案优于默认 HyperBand 的优势，且 BO 的能力仍受倾斜评估结果的限制。在本文中，我们提出了 FlexHB，这是一种将多保真度 BO 推向极限并利用 Successive Halving (SH) 重新设计早停框架的新方法。对 FlexHB 的全面研究表明：(1) 我们细粒度的保真度方法显著提高了搜索最优配置的效率；(2) 我们的 FlexBand 框架（SH 括号的自适应分配，以及在当前和过去 SH 过程中对配置进行全局排序）赋予了算法更大的灵活性，并提升了 anytime 性能。我们的方法实现了卓越的效率，并在各种 HPO 任务上优于其他方法。实证结果表明，FlexHB 分别比最先进的 MFES-HB 和 BOHB 实现了高达 6.9 倍和 11.1 倍的加速。
引用
@article{arxiv.2402.13641,
title = {FlexHB: a More Efficient and Flexible Framework for Hyperparameter Optimization},
author = {Yang Zhang and Haiyang Wu and Yuekui Yang},
journal= {arXiv preprint arXiv:2402.13641},
year = {2024}
}