SGD 临界点附近随机动力学：收敛、黏滞与逃逸
机器学习
2026-03-05 v2 概率论
机器学习
摘要
我们研究了随机梯度下降 (SGD) 在一维景观中的收敛性与逃逸动力学，分别考虑无限方差和有限方差噪声。我们的主要关注点是识别 SGD 在何种时间尺度上可靠地从初始点收敛到同一"浴"中的局部最小值。就噪声分布条件而言，我们证明了只要初始点不位于局部最大值附近，SGD 即可收敛到该浴中最小值的。若初始点接近局部最大值，则我们指出 SGD 在该邻域中可潮伏很长时间。对于初始点接近"尖锐"最大值的情况，我们证明 SGD 不会在此处停留，并给出估计其到达两个相邻局部最小值概率的结果。总体而言，我们的发现为 SGD 在局部最大值与最小值之间的转变提供了细致的视角，这种转变受制于噪声特性和底层函数几何。
引用
@article{arxiv.2505.18535,
title = {Convergence, Sticking and Escape: Stochastic Dynamics Near Critical Points in SGD},
author = {Dmitry Dudukalov and Artem Logachov and Vladimir Lotov and Timofei Prasolov and Evgeny Prokopenko and Anton Tarasenko},
journal= {arXiv preprint arXiv:2505.18535},
year = {2026}
}
备注
The introduction, Subsections 2.1 ("Suitable Time Scaling") and 2.2 ("Sticking to a Critical Point"), as well as a small portion of the proof, have been revised. Subsection 2.3 ("Leaving the Neighborhood of a Sharp Maximum") has undergone minor revisions due to the equality in the doubly exponential case