梯度下降仅收敛到极小点：非孤立临界点与不变区域
动力系统
2016-06-08 v2 机器学习
摘要
给定一个非凸二次可微代价函数 f，我们证明，使得梯度下降收敛到鞍点（其中 \nabla^2 f 至少有一个严格负特征值）的初始条件集合的（勒贝格）测度为零，即使对于具有非孤立临界点的代价函数 f 也成立，从而回答了 [Lee, Simchowitz, Jordan, Recht, COLT2016] 中的一个开放问题。此外，该结果扩展到前向不变凸子空间，允许弱（非全局 Lipschitz）光滑性假设。最后，我们给出了允许步长的上界。
引用
@article{arxiv.1605.00405,
title = {Gradient Descent Only Converges to Minimizers: Non-Isolated Critical Points and Invariant Regions},
author = {Ioannis Panageas and Georgios Piliouras},
journal= {arXiv preprint arXiv:1605.00405},
year = {2016}
}
备注
2 figures