具有Sub-Weibull噪声的非凸随机梯度下降的高概率收敛界
最优化与控制
2025-11-25 v6
摘要
随机梯度下降是机器学习中最常用的迭代算法之一，其收敛性分析是丰富的研究领域。理解其收敛性质有助于在不同设定下选用何种改进版本。然而，多数理论结果要么假设凸性，要么仅提供均值意义下的收敛结果。相反，本文在不假设凸性的前提下证明了高概率收敛界。在强光滑性假设下，我们在两种设定中证明高概率收敛界：（1）假设Polyak-{\L}ojasiewicz不等式与范数sub-Gaussian梯度噪声；（2）假设范数sub-Weibull梯度噪声。在第二类设定中，作为证明收敛的中间步骤，我们证明了一个具有独立意义的sub-Weibull鞅差序列自归一化集中不等式。它将Freedman型集中性推广到比sub-exponential阈值更重尾的鞅差序列。我们还提供一种后处理方法，选取单个迭代并给出可证收敛保证，而非通常针对未知最佳迭代的界。我们对sub-Weibull噪声的收敛结果拓展了随机梯度下降具有等于或优于带裁剪、动量与归一化等改动的随机梯度下降的收敛保证的 regime。
引用
@article{arxiv.2006.05610,
title = {High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise},
author = {Liam Madden and Emiliano Dall'Anese and Stephen Becker},
journal= {arXiv preprint arXiv:2006.05610},
year = {2025}
}
备注
V6: a typo in Lemma 13 was corrected (the $\sup_{\omega\in\Omega}$ was missing) and details were added to some steps in the proof