采集函数的重参数化技巧
机器学习
2017-12-04 v1 机器学习
最优化与控制
摘要
贝叶斯优化是一种求解全局优化问题的样本高效方法。结合代理模型，该方法依赖于理论驱动的估值启发式（采集函数）来引导搜索过程。最大化采集函数可取得最佳性能；遗憾的是，这一理想难以实现，因为优化采集函数本身常常并非易事。在并行设置中这一说法尤为正确，其中采集函数通常是非凸、高维且难以处理的。在此，我们展示了许多流行的采集函数可表述为适用于重参数化技巧的高斯积分，并由此可进行基于梯度的优化。此外，我们利用该重参数化表示推导了并行选择背景下上置信界采集函数的高效蒙特卡洛估计量。
引用
@article{arxiv.1712.00424,
title = {The reparameterization trick for acquisition functions},
author = {James T. Wilson and Riccardo Moriconi and Frank Hutter and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:1712.00424},
year = {2017}
}
备注
Accepted at the NIPS 2017 Workshop on Bayesian Optimization (BayesOpt 2017)