BayeSQP：通过顺序二次规划的贝叶斯优化
机器学习
2026-02-04 v1
摘要
我们提出 BayeSQP，这是一种用于 general black-box optimization 的新型算法，将顺序二次规划的结构与贝叶斯优化的概念相结合。BayeSQP 使用 objective 和 constraint 的二阶高斯过程代理，仅从 zero-order 信息对函数值、梯度和 Hessian 进行联合建模。在每一次迭代中，构建一个 local subproblem，使用 GP posterior 估计求解以获得 search direction。关键在于，subproblem 的 formulation 明确包含函数和导数估计的不确定性， resulting in 一个 high probability improvements 下的可 tractability second-order锥规划。随后，通过受约束的 Thompson 抽样选择下一个 evaluation point 进行 one-dimensional line search。实验结果表明，BayeSQP 在 specific high-dimensional settings 中超越了 state-of-the-art 方法。我们的算法提供了一种原则且 flexible 的框架，将经典优化技术与现代 black-box optimization 方法相桥接。
引用
@article{arxiv.2602.03232,
title = {BayeSQP: Bayesian Optimization through Sequential Quadratic Programming},
author = {Paul Brunzema and Sebastian Trimpe},
journal= {arXiv preprint arXiv:2602.03232},
year = {2026}
}