一阶方法几乎总是避开鞍点
机器学习
2017-10-23 v1 机器学习
最优化与控制
摘要
我们确立了对于几乎所有初始化，一阶方法都能避开鞍点。我们的结果适用于多种一阶方法，包括梯度下降、块坐标下降、镜像下降及其变体。其中的联系在于，此类算法可从动力系统的视角进行研究，其中稳定流形定理的适当实例化允许进行全局稳定性分析。因此，既不需要访问二阶导数信息，也不需要在初始化之外的随机性，即可证明避开鞍点。
引用
@article{arxiv.1710.07406,
title = {First-order Methods Almost Always Avoid Saddle Points},
author = {Jason D. Lee and Ioannis Panageas and Georgios Piliouras and Max Simchowitz and Michael I. Jordan and Benjamin Recht},
journal= {arXiv preprint arXiv:1710.07406},
year = {2017}
}