HEBO：突破样本高效超参数优化的极限
机器学习
2022-05-26 v6 最优化与控制
摘要
在这项工作中，我们严格分析了黑盒优化超参数调优任务中固有的假设。我们在Bayesmark基准上的结果表明，异方差性和非平稳性对黑盒优化器提出了重大挑战。基于这些发现，我们提出了一种异方差进化贝叶斯优化求解器（HEBO）。HEBO执行非线性输入和输出变换，允许精确的边际对数似然优化，并且对所学参数的值具有鲁棒性。我们在NeurIPS 2020黑盒优化挑战赛上展示了HEBO的实证效力，HEBO获得了第一名。进一步分析后，我们观察到HEBO在构成Bayesmark基准的108个机器学习超参数调优任务上显著优于现有的黑盒优化器。我们的发现表明，大多数超参数调优任务表现出异方差性和非平稳性，具有Pareto前沿解的多目标采集集成改善了被查询的配置，并且鲁棒的采集最大化器相对于其非鲁棒对应物提供了实证优势。我们希望这些发现可以作为贝叶斯优化实践者的指导原则。所有代码已在https://github.com/huawei-noah/HEBO提供。
引用
@article{arxiv.2012.03826,
title = {HEBO Pushing The Limits of Sample-Efficient Hyperparameter Optimisation},
author = {Alexander I. Cowen-Rivers and Wenlong Lyu and Rasul Tutunov and Zhi Wang and Antoine Grosnit and Ryan Rhys Griffiths and Alexandre Max Maraval and Hao Jianye and Jun Wang and Jan Peters and Haitham Bou Ammar},
journal= {arXiv preprint arXiv:2012.03826},
year = {2022}
}
备注
Accepted at JAIR