非凸景观下的随机梯度下降全局收敛时间：通过大偏差的尖锐估计
最优化与控制
2025-06-10 v2 机器学习
摘要
本文考察随机梯度下降 (SGD) 达到一般非凸损失函数全局最小值所需的时间。我们通过随机扰动动力学系统和大偏差理论的视角来回答此问题，并通过匹配上界和下界对 SGD 的全局收敛时间提供了紧致表征。这些界限由算法可能需克服的最“昂贵”障碍集合所主导，从而将底层损失景观的全局几何与过程噪声的统计特性相耦合。最后，针对深度神经网络训练的应用，我们还提供了针对具有浅局部极小值的损失函数的一系列细化与扩展分析。
引用
@article{arxiv.2503.16398,
title = {The global convergence time of stochastic gradient descent in non-convex landscapes: Sharp estimates via large deviations},
author = {Waïss Azizian and Franck Iutzeler and Jérôme Malick and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2503.16398},
year = {2025}
}
备注
67 pages, 10 figures