ROOT-SGD：单一算法中的尖锐非渐近性与近最优渐近性

我们研究使用随机一阶算法求解强凸且光滑的无约束优化问题。我们设计了一种新颖的算法，称为递归一除以 T 的 SGD（Recursive One-Over-T SGD，ROOT-SGD），其基于对已往随机梯度的易于实现的递归平均。我们证明它同时在有限样本非渐近意义和渐近意义上达到了最先进的性能。在非渐近方面，我们证明了 ROOT-SGD 末次迭代的风险界，其主导项与具有单位前因子的统计最优风险相匹配，并且在 Hessian 矩阵的 Lipschitz 条件下，高阶项以 $O(n^{-3/2})$ 的尖锐速率缩放。在渐近方面，我们表明当施加温和的一点 Hessian 连续性条件时，对于广泛的步长选择，（多轮）ROOT-SGD 的重新缩放末次迭代渐近收敛到具有 Cramér-Rao 最优渐近协方差的高斯极限。