任意时刻在线转批量转换、乐观性与加速

在随机凸优化中获得收敛保证的一种标准方法是运行在线学习算法，然后输出其迭代点的平均值：在线学习算法的实际迭代点本身并不带有单独的保证。我们通过引入一种黑盒修改，对任何在随机场景下其迭代点能收敛到最优解的在线学习算法弥补了这一空白。然后我们考虑光滑损失的情况，并证明将我们的方法与乐观在线学习算法相结合，在梯度方差为 $\sigma^2$ 的 $L$-光滑问题上可立即获得 $O(L/T^{3/2}+\sigma/\sqrt{T})$ 的快速收敛率。最后，我们提供了一种归约方法，可将任何自适应在线算法转换为获得最优加速率 $\tilde O(L/T^2 + \sigma/\sqrt{T})$ 的算法，同时在非光滑设置下仍保持 $\tilde O(1/\sqrt{T})$ 的收敛率。重要的是，我们的算法自动适应 $L$ 和 $\sigma$：它们不需要知道其中任何一个即可获得这些收敛率。