中文

重访强凸目标的随机梯度下降:紧致统一时间收敛界

最优化与控制 2026-03-19 v2

摘要

通过随机梯度下降(SGD)进行的随机优化是统计和优化中的基本问题。本文重访强凸目标的随机梯度下降(SGD),建立紧致、统一时间收敛界。我们证明,在至少1β1 - \beta的概率下,收敛率为loglogk+log(1/β)k\frac{\log \log k + \log (1/\beta)}{k}同时适用于所有 kN+k \in \mathbb{N}_+,并证明此界在常数因子上紧致。我们还提供该目标的改进最后迭代收敛率。虽然聚焦于强凸目标,但我们的结果可推广到 Polyak-\Lojasiewicz 函数,表明具有增量噪声的收缩随机逼近具有O(k1loglogk)\mathcal{O}(k^{-1} \log \log k)收敛率。

关键词

引用

@article{arxiv.2508.20823,
  title  = {Revisiting Stochastic Gradient Descent for Strongly Convex Objectives: Tight Uniform-in-Time Bounds},
  author = {Kang Chen and Yasong Feng and Tianyu Wang},
  journal= {arXiv preprint arXiv:2508.20823},
  year   = {2026}
}