随机梯度下降带动量的任意时刻收敛性：从连续时间视角

我们从连续时间视角研究随机优化问题，重点关注带动量的随机梯度下降（SGDM）方法。我们表明，尽管 SGDM 的轨迹具有随机性，但当步长趋于零时，其在 $L_2$ 范数下收敛于一个确定的二阶常微分方程（ODE）。该 ODE 与算法之间的联系为离散时间收敛分析带来了有益的进展。更具体地，我们通过构造合适的 Lyapunov 函数，给出了 ODE 的收敛结果，随后将其转化为离散时间情形对应的收敛结果。该方法为随机梯度方法给出了一种新颖的任意时刻收敛保证。特别地，我们证明在光滑凸函数 $f$ 上运行 SGDM 所生成的序列 $\{ x_k \}$ 满足 \begin{align*} \mathbb{P}\left(f (x_k) - f^* \le C\left(1+\log\frac{1}{\beta}\right)\frac{\log k}{\sqrt{k}},\;\text{for all $k$}\right)\ge 1-\beta\quad\text{ for any $\beta>0$,} \end{align*} 其中 $f^*=\min_{x\in\mathbb{R}^n} f(x)$，$C$ 为常数。该结果捕捉的是算法整个轨迹上的收敛行为，而非单步上的收敛行为。