一种用于贝叶斯优化的分层期望改进方法
统计方法学
2023-04-21 v4
摘要
Jones 等人（1998）提出的期望改进（Expected Improvement, EI）方法是一种广泛使用的贝叶斯优化方法，其利用拟合的高斯过程模型进行高效的黑盒优化。然而，EI 的一个关键缺陷是其在利用拟合的高斯过程模型进行优化时过于贪婪，即便在较大样本量下也会导致次优解。为此，我们提出了一种新的分层 EI（HEI）框架，其利用分层高斯过程模型。HEI 保留了闭式采集函数，并通过鼓励对优化空间的探索来纠正 EI 的过度贪婪。随后我们引入超参数估计方法，使 HEI 能够模拟完全的贝叶斯优化过程，同时避免昂贵的马尔可夫链蒙特卡罗采样步骤。我们证明了 HEI 在广泛函数空间上的全局收敛性，并在特定先验设定下建立了近极小极大收敛速率。数值实验表明，在合成函数与半导体制造优化问题中，HEI 优于现有的贝叶斯优化方法。
引用
@article{arxiv.1911.07285,
title = {A hierarchical expected improvement method for Bayesian optimization},
author = {Zhehui Chen and Simon Mak and C. F. Jeff Wu},
journal= {arXiv preprint arXiv:1911.07285},
year = {2023}
}