噪声观测下修正的期望改进采集函数
机器学习
2023-11-15 v3 机器学习
摘要
期望改进（EI）的序贯最大化是贝叶斯优化中最广泛使用的策略之一，因其简单且能处理噪声观测。特别地，改进函数常在噪声设置中使用最佳后验均值作为最佳 incumbent。然而，在许多解析EI类方法中，与incumbent解相关的不确定性常被忽略：闭式采集函数在无噪声设定下导出，却被应用于含噪声观测的设定。为克服此局限，我们提出对EI的修正，通过纳入高斯过程（GP）模型提供的协方差信息来纠正其闭式表达。该采集函数特化为经典无噪声结果，我们认为其应取代贝叶斯优化软件包、教程和教科书中的该公式。这种增强的采集函数对噪声与无噪声设定均具良好通用性。我们证明在异方差观测噪声下，我们的方法在累积遗憾界上达到亚线性收敛率。我们的实证结果表明，在黑盒优化的基准函数上以及神经网络模型压缩的参数搜索中，所提采集函数在存在噪声观测时可优于EI。
引用
@article{arxiv.2310.05166,
title = {A Corrected Expected Improvement Acquisition Function Under Noisy Observations},
author = {Han Zhou and Xingchen Ma and Matthew B Blaschko},
journal= {arXiv preprint arXiv:2310.05166},
year = {2023}
}