无导数优化中梯度近似方法的理论与实证比较

在本文中，我们分析了仅使用函数值来近似带噪声函数梯度的几种方法。这些方法包括有限差分、线性插值、高斯平滑以及球面上平滑。这些方法在采样函数数量、样本点选择以及梯度近似的推导方式上有所不同。对于每种方法，我们推导了样本数量和采样半径的界，这些界保证线搜索或固定步长下降方法具有有利的收敛性质。为此，我们使用 [Berahas et al., 2019] 中的结果，并说明每种方法如何满足充分条件，可能仅在每次迭代以某个足够大的概率满足，正如高斯平滑和球面上平滑的情况那样。最后，我们给出数值结果，评估梯度近似的质量及其与线搜索无导数优化算法结合时的性能。