随机梯度下降的长期分布是什么？——大偏差分析
最优化与控制
2026-05-19 v3 机器学习
概率论
机器学习
摘要
本文一般非凸问题中随机梯度下降（SGD）的长期分布进行探讨。具体而言，我们旨在了解SGD更可能访问问题状态空间的哪些区域，以及访问频率有多大。我们采用基于大偏差理论和随机扰动动力学系统的方法，表明SGD的长期分布类似于平衡热力学中的布尔宁- Gibbs 分布，其温度等于方法的步长，能量水平由问题的目标函数和噪声统计量决定。特别地，我们表明在长期内，（a）问题的临界区域的访问频率远高于任何非临界区域；（b）SGD的迭代在问题最小能量状态（不一定与目标函数的全局最小值一致）附近指数级集中；（c）所有其他连通的临界点按其能量水平以指数比例访问；最终，（d）任何局部极大值或鞍点组件都被被局部最小值的组件所'支配'，后者访问频率显著更高。
关键词
引用
@article{arxiv.2406.09241,
title = {What is the long-run distribution of stochastic gradient descent? A large deviations analysis},
author = {Waïss Azizian and Franck Iutzeler and Jérôme Malick and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2406.09241},
year = {2026}
}
备注
71 pages, 3 figures; presented in ICML 2024