RSG：在无光滑性与强凸性下超越次梯度法

在本文中，我们研究了周期性重启标准次梯度法(SG)的重启次梯度(RSG)方法的效率。我们表明，当应用于广泛的一类凸优化问题时，RSG方法能以比SG方法更低的复杂度找到 $\epsilon$-最优解。特别地，我们首先证明RSG能将SG的迭代复杂度对初始解与最优集之间距离的依赖性降低到 $\epsilon$-水平集与最优集之间的距离{乘以对数因子}。此外，我们展示了RSG相对于SG在求解三类不同凸优化问题族时的优势。(a) 对于上镜图是多面体的问题，RSG被证明线性收敛。(b) 对于在 $\epsilon$-子水平集具有局部二次增长性质的问题，RSG具有 $O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$ 迭代复杂度。(c) 对于满足幂常数 $\beta\in[0,1)$ 的局部 Kurdyka-\L ojasiewicz 性质的问题，RSG具有 $O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$ 迭代复杂度。我们分析的新颖之处在于利用 $\epsilon$-水平集处一阶最优性残差的下界。正是这一新颖点使我们能够探索函数的局部性质（例如局部二次增长性质、局部 Kurdyka-\L ojasiewicz 性质，更一般地局部误差界条件）以发展RSG的改进收敛性。{我们还开发了RSG的一个实用变体，其收敛速度快于SG方法，且可在不知晓局部误差界条件中相关参数的情况下运行。}我们在包括回归、分类和矩阵补全在内的若干机器学习任务上展示了所提算法的有效性。