AdaGrad-Norm在凸非光滑优化中的最终迭代收敛性

我们研究了AdaGrad方法最终迭代（即第$(N+1)$次迭代）的收敛性。尽管AdaGrad——一种自适应次梯度方法——支撑着广泛的算法类别，但大多数现有的收敛性分析都集中在平均（或最佳）迭代上。我们推导了最终点次优性的最坏情况上界，并证明，在最优调整步长参数的情况下，最终迭代以$O(1/N^{1/4})$的速率收敛。我们通过匹配的下界构造来补充这一保证，证明该速率是紧的，并且AdaGrad的最终迭代速率严格差于其平均迭代的经典$O(1/N^{1/2})$速率。在技术上，我们的分析引入了一个指数参数来捕捉累积平方次梯度的增长；结合Zamani和Glineur（2025）的最终迭代不等式，这将问题简化为对一个特定级数进行界定。