贝叶斯优化中采集函数的局部优化器研究
机器学习
2020-06-17 v4 机器学习
摘要
贝叶斯优化是一种样本高效的寻找昂贵黑盒函数全局最优解的方法。通过累积查询点及其函数值对来求得全局解，重复以下两个步骤：(i) 建模代理函数；(ii) 最大化采集函数以确定下一个查询位置。收敛性保证仅在每轮找到采集函数的全局优化器并将其选为下一查询点时成立。然而在实践中，由于寻找全局优化器通常是一项非平凡或耗时的任务，采集函数的局部优化器也被使用。本文考虑由高斯过程回归诱导的三种流行采集函数：PI、EI 和 GP-UCB。接着，我们针对这些采集函数的局部优化器行为，基于相对全局优化器的即时遗憾给出了性能分析。我们还引入了一种分析，允许局部优化方法从多个不同初始条件出发。数值实验证实了理论分析的有效性。
引用
@article{arxiv.1901.08350,
title = {On Local Optimizers of Acquisition Functions in Bayesian Optimization},
author = {Jungtaek Kim and Seungjin Choi},
journal= {arXiv preprint arXiv:1901.08350},
year = {2020}
}
备注
16 pages, 3 figures, 1 table. Accepted at the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD 2020)