以机器学习增强有限差分基于无梯度优化方法
最优化与控制
2025-02-12 v1
摘要
无梯度优化 (DFO) 涉及仅依赖目标函数评估的方法。设计 DFO 方法的最早策略之一是通过替换梯度的有限差分近似来适应一阶方法。此类方法的执行会生成有关目标函数的丰富数据集，包括迭代点、函数值、近似梯度以及成功的步长。在本工作中，我们提出了一个简单的数据辅助程序来利用该数据集并增强有限差分基于 DFO 方法的性能。具体而言，我们使用可用数据训练一个 surrogate 模型，并对 surrogate 应用 Armijo 线搜索的梯度方法，直到它无法确保对真实目标函数的足够减小。在这种情况下，我们会回退到原始算法并根据新的可用信息来改进我们的 surrogate。作为概念验证，我们将此程序集成到（Optim. Lett. 18: 195--213, 2024）中提出的无梯度方法中。数值结果表明，尤其是在近似梯度也用于训练 surrogate 时，方法性能有显著提升。
引用
@article{arxiv.2502.07435,
title = {Enhancing finite-difference based derivative-free optimization methods with machine learning},
author = {Timothé Taminiau and Estelle Massart and Geovani Nunes Grapiglia},
journal= {arXiv preprint arXiv:2502.07435},
year = {2025}
}