面向基于梯度的黑盒优化的局部感知代理模型
机器学习
2025-02-03 v1
摘要
在物理学和工程学中，许多过程使用不可微的黑盒模拟器进行建模，使得此类函数的优化极具挑战性。为了应对这些情况，受梯度定理启发，我们提出了用于基于主动模型的黑盒优化的局部感知代理模型。我们首先在梯度对齐与梯度路径积分方程（GradPIE）损失的最小化之间建立了理论联系，该损失强制代理模型梯度在设计空间的局部区域内保持一致。利用这一理论见解，我们开发了一种可扩展的训练算法来最小化 GradPIE 损失，在保持计算效率的同时支持离线和在线学习。我们在三个真实世界任务上评估了我们的方法——涵盖诸如耦合非线性振荡器、模拟电路和光学系统等计算机模拟实验——并证明在有限的查询预算下，优化效率取得了一致的提升。我们的结果为需要可靠梯度估计的离线和在线优化任务提供了可靠的解决方案。
引用
@article{arxiv.2501.19161,
title = {Locality-aware Surrogates for Gradient-based Black-box Optimization},
author = {Ali Momeni and Stefan Uhlich and Arun Venkitaraman and Chia-Yu Hsieh and Andrea Bonetti and Ryoga Matsuo and Eisaku Ohbuchi and Lorenzo Servadei},
journal= {arXiv preprint arXiv:2501.19161},
year = {2025}
}