Wasserstein 距离下随机动量方法的加速线性收敛

Polyak 的重球（HB）法、Nesterov 加速梯度（AG）法以及加速投影梯度（APG）法等动量方法已在机器学习实践中被广泛使用，但其性能对梯度中的噪声相当敏感。我们在一阶随机预言机模型下研究这些方法，其中可获得梯度的含噪估计。对于强凸问题，我们证明只要噪声方差小于我们可给出的显式上界，AG 迭代的分布就以加速的 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 线性速率收敛到以唯一不变分布为中心、半径为 $\varepsilon$ 的球内（在 1-Wasserstein 度量下），其中 $\kappa$ 为条件数。我们的分析还给出了作为步长、动量参数和噪声方差函数的线性收敛速率；在无噪声情形下恢复了加速速率，并量化了为达到给定性能所能容忍的噪声水平。在强凸二次目标的特殊情况下，通过对噪声结构附加一些假设进行非渐近分析，我们可以证明在任意 $p\geq 1$ 的 $p$-Wasserstein 度量下 AG 和 HB 均具有改进的噪声敏感性的加速线性速率。我们对 HB 和 AG 的分析还得到了确定性与随机设定下次优性（suboptimality）的改进非渐近收敛界，这具有独立意义。据我们所知，这些是随机预言机模型下随机动量方法的首批线性收敛结果。我们还将结果推广到 APG 方法和弱凸函数，表明在噪声幅度足够小时呈现加速速率。