超越目标导向的改进：基于平稳性的贝叶斯优化期望改进
机器学习
2026-05-19 v3
摘要
贝叶斯优化（BO）是优化高昂黑盒函数的原则框架，期望改进（Expected Improvement, EI）是其中最常用的获取函数之一。尽管其实证成功显著，但EI对一阶最优性条件漠不关注，仅依赖目标值改进。因此，在改进准则无效时，EI会出现获取信号消失，限制其在引导搜索中的效果。我们提出基于梯度范数的期望改进（Expected Improvement via Gradient Norms, EI-GN），这是一种新颖的获取函数，将改进原则扩展到包含一阶平稳性，以促进采样在高性能且接近平稳点的区域。我们推导了EI-GN的可计算闭式表达式，表明其仍符合改进导向的获取框架。通过将平稳性进步嵌入获取准则，EI-GN提供了更丰富且更具信息量的改进概念。标准贝叶斯优化基准的实证结果表明，EI-GN在基线方法上 consistently 获得提升，并进一步说明其在控制策略学习中的适用性。
引用
@article{arxiv.2601.21357,
title = {Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization},
author = {Joshua Hang Sai Ip and Georgios Makrygiorgos and Ali Mesbah},
journal= {arXiv preprint arXiv:2601.21357},
year = {2026}
}