深度不会带来更多伪局部极小值
机器学习
2020-01-07 v2 机器学习
摘要
我们证明，对于任意凸可微损失，只要两层情形成立，深度线性网络就不存在伪局部极小值。这一归约极大地简化了对深度线性网络中伪局部极小值存在性的研究。当应用于二次损失时，我们的结果立即蕴含了[Kawaguchi 2016]中的有力结论。进一步，结合[Zhou and Liang 2018]的工作，我们可以移除[Kawaguchi 2016]中的所有假设。该性质对更一般的“多塔”线性网络也成立。我们的证明基于[Laurent and von Brecht 2018]，并发展了一种新的扰动论证，表明任何伪局部极小值必须具有满秩，这一结构性质在更一般情形下也有用处。
引用
@article{arxiv.1901.09827,
title = {Depth creates no more spurious local minima},
author = {Li Zhang},
journal= {arXiv preprint arXiv:1901.09827},
year = {2020}
}