局部PL条件下(随机)梯度下降的最优渐近速率：一种几何方法
最优化与控制
2026-05-15 v1 概率论
机器学习
摘要
由于随机梯度下降(SGD)的简单性及其在机器学习中的广泛适用性，过去几十年间它被广泛研究。在本工作中，我们分析了梯度下降和随机梯度下降在最小化满足 Polyak-Lojasiewicz (PL) 不等式且处于由过参数化神经网络启发的乘性梯度噪声模型下的 函数时的局部行为。利用对 PL 条件的几何解释，我们证明了一个简单却令人惊讶的事实：在这种可能非凸的设定下，(S)GD 的渐近收敛速率与在强凸二次函数上获得的速率相匹配。
引用
@article{arxiv.2605.14663,
title = {Optimal Asymptotic Rates for (Stochastic) Gradient Descent under the Local PL-Condition: A Geometric Approach},
author = {Sebastian Kassing and Thomas Kruse},
journal= {arXiv preprint arXiv:2605.14663},
year = {2026}
}