高效条件化：伪观测批量贝叶斯优化为何有效及何时失效
机器学习
2026-05-20 v1
摘要
Constant Liar (CL)、Kriging Believer (KB) 和 fantasy 模型被广泛用于并行贝叶斯优化中的批量选择，但一直缺乏解释其有效性及失效条件的统一理论。我们将高效条件化确定为关键的代理属性，即在数据增加时能够以闭式形式更新预测的能力。我们证明了高斯过程满足此要求，产生可证明分离的批量点，且分离量级为 ，并且这对于任何在后验不确定性中单调非递减的采集函数均成立，而 Thompson Sampling 则具有定性相似的行为。我们将 CL、KB 和 fantasy 模型统一为单一条件化机制的实例，它们仅在谎言值分布上有所不同，并与局部惩罚建立了定量联系，与行列式点过程建立了定性联系。为了将模型结构与优化器随机性解耦，我们引入了结构多样性诊断，这是一种用于测试代理兼容性的可复用方法。在 Hartmann6D、Ackley 8D、Levy10D 和 SVM 超参数调优上的实验验证了所有理论预测：CL 或 KB 的隐式惩罚匹配或优于显式 LP，贪婪条件化实现了与联合 qEI 相当的收敛性；高效条件化扩展至 Multiquadric RBF 网络；而参数化代理即使在完全重新训练时也会产生退化的批量（随机森林），神经网络仅在 15 倍于 GP 条件化的实际运行时间成本下才能恢复多样性。在多个初始数据集和观测噪声下均确认了鲁棒性。
引用
@article{arxiv.2605.18819,
title = {Efficient Conditioning Why Pseudo Observation Batch Bayesian Optimization Works When It Does not},
author = {Kumbha Nagaswetha and Rabi Pathak},
journal= {arXiv preprint arXiv:2605.18819},
year = {2026}
}