非凸优化中随机梯度下降的二阶保证
最优化与控制
2019-08-21 v1 机器学习
机器学习
摘要
近年来，人们对非凸优化中梯度下降算法的性能保证兴趣渐增。若干工作揭示梯度噪声在梯度下降递归高效逃离鞍点并达到二阶驻点方面起着关键作用。大多数现有工作将梯度噪声分量限制为以概率1有界或次高斯，并利用集中不等式得到高概率结果。我们提出一种替代方法，主要依赖均方论证，并表明只要在每个鞍点处存在沿下降方向的梯度噪声分量，对梯度噪声方差更宽松的相对界便足以保证高效逃离鞍点，而无需注入额外噪声、采用交替步长或依赖全局弥散噪声假设。
引用
@article{arxiv.1908.07023,
title = {Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization},
author = {Stefan Vlaski and Ali H. Sayed},
journal= {arXiv preprint arXiv:1908.07023},
year = {2019}
}