关于凸光滑随机问题中 SGD 的最后迭代复杂度
最优化与控制
2025-07-21 v1
摘要
关于随机梯度下降（SGD）在凸光滑情形下的大多数结果，都以对ergodic函数值间隙的界限形式呈现。是否存在直接对 SGD 的最后迭代求解值进行界限，这仍是一个开放问题。最近的进展表明，这应该是可行的。例如，通过假设随机梯度的方差在均匀紧束缷内，即可以实现这一目标，但该假设难以验证。在本文中，我们表明不必需此类假设，SGD 在凸光滑随机问题下拥有 的最后迭代复杂度。
引用
@article{arxiv.2507.14122,
title = {Last-Iterate Complexity of SGD for Convex and Smooth Stochastic Problems},
author = {Guillaume Garrigos and Daniel Cortild and Lucas Ketels and Juan Peypouquet},
journal= {arXiv preprint arXiv:2507.14122},
year = {2025}
}