characterize 关于过参数化学习中随机梯度下降动力学稳定性
机器学习
2025-07-18 v3 动力系统
概率论
摘要
对于过参数化优化任务，尤其是现代机器学习中常见的任务，全局最小值通常并非唯一。为了理解这些设置下的泛化效应，研究优化算法收敛到的具体最小值至关重要。具有在优化算法施加的动力学条件下不稳定的最小值可能限制了算法能找到的潜在最小值。在本文中，我们对确定性和随机梯度下降（SGD）的全局最小值进行动力学稳定性/不稳定性的特征化。特别地，我们引入一种特征 Lyapunov 指数，该指数取决于全局最小值附近的局部动力学，严格证明了该 Lyapunov 指数的符号决定了 SGD 是否能在相应全局最小值上积聚。
引用
@article{arxiv.2407.20209,
title = {Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning},
author = {Dennis Chemnitz and Maximilian Engel},
journal= {arXiv preprint arXiv:2407.20209},
year = {2025}
}