II型鞍点与随机梯度下降的概率稳定性

Liu Ziyin; Botao Li; Tomer Galanti; Masahito Ueda

II型鞍点与随机梯度下降的概率稳定性

机器学习 2024-07-03 v4 最优化与控制数据分析、统计与概率

作者: Liu Ziyin , Botao Li , Tomer Galanti , Masahito Ueda

摘要

刻画并理解随机梯度下降(SGD)在鞍点附近的动力学仍是一个开放问题。我们首先表明神经网络中的鞍点可分为两类,其中II型鞍点尤其难以逃离,因为梯度噪声在该鞍点处消失。因此,SGD在这些鞍点附近的动力学在主导阶上由一个随机矩阵乘积过程描述,从而自然地利用概率稳定性及相关Lyapunov指数的概念来研究SGD在这些鞍点附近的动力学。在理论上,我们将SGD动力学的研究与遍历论中著名的概念相联系,并借此证明鞍点对于SGD可以是吸引的或排斥的,且其动力学可根据鞍点附近梯度中的信噪比被分类为四种不同的相。

关键词

随机梯度下降 II型鞍点概率稳定性 Lyapunov指数随机矩阵乘积遍历论信噪比

引用

@article{arxiv.2303.13093,
  title  = {Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent},
  author = {Liu Ziyin and Botao Li and Tomer Galanti and Masahito Ueda},
  journal= {arXiv preprint arXiv:2303.13093},
  year   = {2024}
}

备注

preprint

II型鞍点与随机梯度下降的概率稳定性

摘要

关键词

引用

备注

相关论文