基于期望改进的贝叶斯优化：无后悔与首选 incumbent 的选择
机器学习
2025-08-22 v1 机器学习
摘要
期望改进 (Expected Improvement, EI) 是贝叶斯优化 (Bayesian optimization, BO) 中最常用的获取函数之一。尽管其在实际应用中已被证明效果卓越，但 EI 的累积后悔上界仍是一个悬而未决的问题。本文分析了经典的噪声高斯过程期望改进 (Gaussian process expected improvement, GP-EI) 算法。我们考虑贝叶斯设置，即目标是来自 GP 的样本。本文考查了三种常用的首选 incumbent，即最佳后验均值 incumbent (Best Posterior Mean Incumbent, BPMI)、最佳抽样后验均值 incumbent (Best Sampled Posterior Mean Incumbent, BSPMI) 和最佳观察 incumbent (Best Observation Incumbent, BOI)。我们首次给出了使用 BPMI 和 BSPMI 的 GP-EI 的累积后悔上界。重要的是，我们表明在这两种情况下，对于平方指数核 (squared exponential, SE) 和 Mat\'ern 核，GP-EI 都是无后悔算法。进一步地，我们首次表明使用 BOI 的 GP-EI 在 SE 和 Mat\'ern 核下要么实现亚线性累积后悔上界，要么具有快速收敛的噪声简单后悔上界。我们的结果为在噪声环境中应用 GP-EI 时选择 incumbent 提供了理论指导。我们进行了数值实验以验证我们的发现。
关键词
引用
@article{arxiv.2508.15674,
title = {Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent},
author = {Jingyi Wang and Haowei Wang and Szu Hui Ng and Cosmin G. Petra},
journal= {arXiv preprint arXiv:2508.15674},
year = {2025}
}