随机逼近的收敛速率：具有无界方差的有偏噪声及其应用

本文研究随机梯度下降（SGD）方法在寻找给定目标函数 $J(\cdot)$ 的平稳点时的收敛性质。目标函数无需为凸函数。相反，我们的结果适用于一类“invex”函数，这类函数具有每个平稳点也是全局极小点的性质。首先，假设 $J(\cdot)$ 满足一个比 Kurdyka-Lojasiewicz (KL) 条件稍弱的性质，在此记为 (KL')。证明了迭代 $J(\boldsymbol{\theta}_t)$ 几乎必然收敛到 $J(\cdot)$ 的全局最小值。接着，将 $J(\cdot)$ 的假设从 (KL') 加强到 Polyak-Lojasiewicz (PL) 条件。基于这一更强的假设，我们推导出 $J(\boldsymbol{\theta}_t)$ 收敛到其极限的速率估计。利用这些结果，我们证明对于满足 PL 性质的函数，SGD 在目标函数和梯度范数上的收敛速率与凸函数的最佳可能速率相同。虽然过去已发表了一些类似的结果，但我们的贡献包含两项显著改进。首先，对随机梯度的假设比别处更一般；其次，我们的收敛是几乎必然的，而非期望意义上的。我们还研究了仅允许函数评估时的 SGD。在此设定下，我们确定了“最优”增量或扰动的大小。利用同一套思路，我们在比现有文献更一般的测量误差假设下，建立了随机逼近（SA）算法的全局收敛性。我们还在适当假设下推导出 SA 算法收敛速率的界。