一阶算法在凸问题上比 $O(1/k)$ 收敛更快

众所周知，当应用于最小化 Lipschitz 连续可微、无约束凸函数的格式时，梯度下降和随机坐标下降在目标值上均达到 $O(1/k)$ 的全局收敛速率。在本工作中，我们将该速率改进为 $o(1/k)$。我们将结果推广到正则化问题上的近端梯度和近端坐标下降，以展示类似的 $o(1/k)$ 收敛速率。该结果是紧的，原因在于对于任何 $\epsilon>0$，这些方法中的任何一种一般都无法达到 $O(1/k^{1+\epsilon})$ 的速率。