面向高维黑箱优化的带海森校正的乐观梯度学习
机器学习
2026-01-21 v2 人工智能
摘要
黑箱算法旨在不依赖函数的底层解析结构或梯度信息的情况下对其进行优化，这使得它们在梯度不可获取或难以计算时至关重要。解决黑箱优化（BBO）问题的传统方法主要依赖于非参数模型，并且难以扩展到大规模输入空间。相反，使用神经估计器对函数建模并通过反向传播获取梯度信号的参数化方法可能会遭受显著的梯度误差。最近的一种替代方法，显式梯度学习（EGL），利用一阶泰勒近似直接学习梯度，已展现出优于参数化和非参数化方法的性能。在这项工作中，我们提出了两种新颖的梯度学习变体，以应对高维、复杂和高度非线性问题带来的鲁棒性挑战。乐观梯度学习（OGL）引入了对函数景观中较低区域的偏好，而高阶梯度学习（HGL）则结合了二阶泰勒校正以提高梯度精度。我们将这些方法结合成统一的OHGL算法，在合成COCO套件上取得了最先进（SOTA）的性能。此外，我们展示了OHGL在对抗训练和代码生成等高维现实世界机器学习（ML）任务中的适用性。我们的结果突显了OHGL生成更强候选解的能力，为应对高维、非线性优化挑战的机器学习研究人员和从业者提供了一个有价值的工具。
引用
@article{arxiv.2502.04829,
title = {Optimistic Gradient Learning with Hessian Corrections for High-Dimensional Black-Box Optimization},
author = {Yedidya Kfir and Elad Sarafian and Sarit Kraus and Yoram Louzoun},
journal= {arXiv preprint arXiv:2502.04829},
year = {2026}
}
备注
We develop a black-box optimization algorithm that learns gradients with neural models and can be applied to solve non-convex high dimensional real-world problems