NeST-BO：基于牛顿步梯度和 Hessian 信息的快速局部贝叶斯优化

贝叶斯优化（Bayesian optimization, BO）对于高维问题仍然具有挑战性。我们提出了NeST-BO，这是一种受曲率影响的局部BO方法，通过联合学习梯度和Hessian信息的高斯过程（GP）代理，并选择通过牛顿步误差的单步前瞻界限进行评估。我们表明，该界限随批量大小收敛，因此NeST-BO驱动步误差趋于零；在良好的邻域中，它恢复了不完全/修改牛顿方法的快速局部分收敶行为，而标准安全措施支持全局收敛到平稳点。为提高问题维度的扩展性，我们在低维嵌入子空间（随机或学习的）中优化获取，从而将学习曲率的主要成本从$O(d^2)$降低到$O(m^2)$，其中$m \ll d$，同时保持步的精准定位。在高维合成问题和真实问题上，包括数千个变量且未知活跃子空间的情况下，NeST-BO始终比最先进的局部和高维BO基准实现更快的收敛和更好的最终值。