光滑凸函数上相对不精确梯度下降的 Worst-Case 收敛性分析
最优化与控制
2025-09-12 v2
摘要
我们考虑具有恒定步长的经典梯度下降算法，其中在每次梯度的计算中引入了一些误差。更具体地说，我们假设不精确性存在某种相对界限，即真实梯度与其近似值之差的范数受限于梯度范数的某个分数。本文使用性能估计问题（PEP）框架，对光滑凸函数上这种所谓的相对不精确梯度下降进行了worst-case收敛性分析。我们首先推导了该方法一步后的精确worst-case行为。然后，我们研究了多步的情况，并使用PEP框架提供了可计算的上界和下界。最后，我们根据得到的worst-case收敛速率讨论了恒定步长的最优选择。
引用
@article{arxiv.2506.17145,
title = {Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions},
author = {Pierre Vernimmen and François Glineur},
journal= {arXiv preprint arXiv:2506.17145},
year = {2025}
}