带有最优值先验的贝叶斯优化
机器学习
2021-04-20 v4 机器学习
摘要
虽然贝叶斯优化（BO）是一种非常流行的用于优化昂贵黑盒函数的方法，但它未能利用领域专家的经验。这导致 BO 在专家已经知道效果很差的不良设计选择（例如机器学习超参数）上浪费函数评估次数。为解决此问题，我们引入了带有最优值先验的贝叶斯优化（BOPrO）。BOPrO 允许用户以关于输入空间中哪些部分将产生最佳性能的先验形式将其知识注入优化过程，而不是 BO 关于函数的标准先验，后者对用户而言直观性差得多。BOPrO 随后将这些先验与 BO 的标准概率模型结合，形成用于选择下一个评估点的伪后验。我们表明，在常用基准测试套件上 BOPrO 比最先进的方法快约 6.67 倍，并在真实世界的硬件设计应用中取得了新的最先进性能。我们还表明，即使最优值先验不完全准确，BOPrO 也能更快收敛，并且能从误导性先验中稳健恢复。
引用
@article{arxiv.2006.14608,
title = {Bayesian Optimization with a Prior for the Optimum},
author = {Artur Souza and Luigi Nardi and Leonardo B. Oliveira and Kunle Olukotun and Marius Lindauer and Frank Hutter},
journal= {arXiv preprint arXiv:2006.14608},
year = {2021}
}