基于有限差分近似的无导数优化：一项实验研究
机器学习
2025-02-19 v2 最优化与控制
摘要
无导数优化（DFO）在解决仅能通过预言机获得带噪声函数评估的复杂优化问题中至关重要。在该领域中，基于有限差分（FD）近似的 DFO 已成为一种强大的方法。两种经典方法是 Kiefer-Wolfowitz（KW）和同时扰动随机逼近（SPSA）算法，它们在每次迭代中仅使用两个样本来估计梯度以节省样本。然而，这种方法会产生不精确的梯度估计量，需要递减步长以确保收敛，通常导致优化进展缓慢。相比之下，由批量样本构建的 FD 估计量能更精确地近似梯度。虽然使用基于批量的 FD 估计量的梯度下降算法在每次迭代中能获得更精确的结果，但它们需要更多样本且允许的迭代次数更少。这引出了一个根本性问题：哪种方法更有效——KW 风格的方法还是使用基于批量的 FD 估计量的 DFO？本文对这些方法进行了全面的实验比较，考察了梯度估计精度与迭代步数之间的基本权衡。通过在低维和高维设置下的大量实验，我们展示了一个令人惊讶的发现：当应用高效的基于批量的 FD 估计量时，其对应的梯度下降算法在我们测试的场景中通常表现出优于经典 KW 和 SPSA 算法的性能。
引用
@article{arxiv.2411.00112,
title = {Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study},
author = {Wang Du-Yi and Liang Guo and Liu Guangwu and Zhang Kun},
journal= {arXiv preprint arXiv:2411.00112},
year = {2025}
}