基于行列式点过程的批量贝叶斯优化多样化采样
机器学习
2022-02-09 v2 机器学习
摘要
在贝叶斯优化（BO）中，我们研究带有噪声点评估与贝叶斯先验的黑盒函数优化。BO的收敛可通过批处理大幅加速，即在单轮中执行黑盒函数的多次评估。该设定下的主要困难在于同时提出多样化且具信息量的评估点批次。在本工作中，我们引入DPP-Batch贝叶斯优化（DPP-BBO），一个利用行列式点过程（DPP）的排斥特性自然使批次采样过程多样化的通用框架，以在基于采样的BO中诱导批次多样性。我们通过将DPP-Thompson采样（DPP-TS）公式化为流行的Thompson采样（TS）算法的一个变体，并引入马尔可夫链蒙特卡洛过程从中采样，来阐释该框架。随后我们证明了经典批量TS以及我们的对应方法DPP-TS的新颖贝叶斯简单遗憾界，其中后者的界更紧。我们的真实世界与合成实验证明了DPP-BBO相对于采用高斯过程与Cox过程模型的经典批处理方法的性能提升。
引用
@article{arxiv.2110.11665,
title = {Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes},
author = {Elvis Nava and Mojmír Mutný and Andreas Krause},
journal= {arXiv preprint arXiv:2110.11665},
year = {2022}
}
备注
To be published in AISTATS 2022