次梯度方法末次迭代的精确收敛速率

我们研究应用于具有有界次梯度的非光滑凸函数最小化的次梯度方法中末次迭代的收敛性。我们首先引入一种推广次梯度方法标准分析的证明技巧。它基于在每次迭代中跟踪当前迭代与一个不同参考点之间的距离。利用该技巧，我们获得了采用常数步长或常数步长的投影次梯度方法末次迭代目标精度的精确最坏情况收敛速率。通过匹配所建立收敛速率的最坏情况实例证明了紧性。我们还推导了执行 $N$ 次迭代时最优常数步长的值，由此发现末次迭代精度小于 $B R \sqrt{1+\log(N)/4}/{\sqrt{N+1}}$，其中 $B$ 是次梯度范数的界，$R$ 是初始迭代与极小点之间距离的界。最后，我们引入一种新的最优次梯度方法，在给定迭代次数 $N$ 后达到可能的最佳末次迭代精度。其收敛速率 ${B R}/{\sqrt{N+1}}$ 精确匹配任意黑盒方法在所考虑问题类上性能的下界。我们还表明，不存在能在每次迭代同时达到该最优速率的通用步长序列，这意味着步长序列对 $N$ 的依赖性不可避免。