无有界梯度假设下随机梯度方法的几乎必然鞍点规避
机器学习
2023-02-16 v1 最优化与控制
摘要
我们证明多种随机梯度下降方法，包括随机梯度下降（SGD）、随机重球（SHB）与随机 Nesterov 加速梯度（SNAG）方法，几乎必然规避任意严格鞍流形。据我们所知，这是首次针对 SHB 与 SNAG 方法获得此类结果。此外，我们的分析扩展了先前关于 SGD 的研究，去除了目标函数梯度有界与噪声一致有界的需要。作为替代，我们引入对噪声梯度更实用的局部有界假设，该假设在神经网络训练典型的经验风险最小化问题中自然满足。
引用
@article{arxiv.2302.07862,
title = {Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption},
author = {Jun Liu and Ye Yuan},
journal= {arXiv preprint arXiv:2302.07862},
year = {2023}
}