随机梯度下降方案最后一个迭代的收敛率

我们研究了随机梯度下降（SGD）和随机重量摆动（SHB）在参数化设置下的最后一个迭代的收敛率，该设置下目标函数 F 为全局凸或非凸，其梯度为 γ-Holder 条件。我们仅使用离散的 Gronwall 不等式而不使用 Robbins-Siegmund 定理，恢复了两种 SGD 和 SHB 的结果：对于非凸目标，$\min_{s\leq t} \|\nabla F(w_s)\|^2 = o(t^{p-1})$；对于 $\beta \in (0, 1)$，$\tau := \inf \{ t > 0 : F(w_t) = F_*\}$，以及凸目标函数 F，其最小值 F_* 满足 $F(w_{\tau \wedge t}) - F_* = o(t^{2\gamma/(1+\gamma) \cdot \max(p-1,-2p+1)-\epsilon})$ 和 $\min_{s \leq t} F(w_s) - F_* = o(t^{p-1})$。此外，我们证明当 F 为凸且 $\gamma = 1$，步长 $\alpha_t = \Theta(t^{-p})$ 且 $p \in (\frac{1}{2}, 1)$ 时，带常数动量参数 $\beta \in (0, 1)$ 的 SHB 在概率至少 $1-\delta$ 下 attains a convergence rate of $F(w_t) - F_* = O(t^{\max(p-1,-2p+1)} \log^2 \frac{t}{\delta})$。