带 Richardson-Romberg 外推的随机梯度下降非渐近分析

我们解决使用常数步长的随机梯度下降（SGD）算法来求解强凸光滑最小化问题的难题。以前的工作建议将 Polyak-Ruppert 平均程序与 Richardson-Romberg 外推相结合，以在轻微增加方差的同时减少 SGD 的渐近偏差。我们显著扩展了前面的结果，通过对 resulting estimator 相对于迭代次数 n 的均方误差提供了展开。我们表明，根均方误差可分解为两个术语：一个阶数为 $\mathcal{O}(n^{-1/2})$ 的主导项，其对明确的 minimax 最优渐近协方差矩阵有显式依赖，以及阶数为 $\mathcal{O}(n^{-3/4})$ 的次项，其中指数 $3/4$ 是目前已知的最佳值。我们还将此结果推广到更高阶矩的界限。我们的分析依赖于将 SGD 迭代视为时齐马尔可夫链的属性。特别是，我们在 suitably 定义的加权 Wasserstein semimetric 下证明了该链具有几何 Ergodic。