用于贝叶斯优化的调制代理模型
机器学习
2020-09-10 v4 机器学习
摘要
贝叶斯优化（Bayesian optimization, BO）方法通常依赖于目标函数性质良好的假设，但在实践中，即使可以收集无噪声观测值，这对于现实世界中的目标函数也很少成立。试图尽可能精确地建模目标的常见方法，往往因花费过多评估次数来建模无关细节而无法取得进展。我们通过提出专注于目标函数中性质良好结构的代理模型来解决此问题，这些结构对搜索具有信息量，同时忽略那些难以从少量观测中建模的有害结构。首先，我们证明具有适当噪声分布的代理模型可以通过将目标函数中的挑战性结构视为不可约不确定性来吸收它们。其次，我们展示潜高斯过程（latent Gaussian process）是为此目的的一个优秀代理模型，并与具有标准噪声分布的高斯过程进行了比较。我们在广泛的 BO 基准测试上进行了大量实验，发现我们的方法在面对具有挑战性的目标函数时提高了可靠性和性能。
引用
@article{arxiv.1906.11152,
title = {Modulating Surrogates for Bayesian Optimization},
author = {Erik Bodin and Markus Kaiser and Ieva Kazlauskaite and Zhenwen Dai and Neill D. F. Campbell and Carl Henrik Ek},
journal= {arXiv preprint arXiv:1906.11152},
year = {2020}
}