任意损失下的深度线性神经网络：所有局部极小均为全局极小
机器学习
2018-07-25 v2 机器学习
摘要
我们考虑具有任意凸可微损失的深度线性网络。我们给出一个简短且初等的证明：若隐藏层满足以下任一条件，则所有局部极小均为全局极小：1) 至少与输入层一样宽，或 2) 至少与输出层一样宽。该结果在如下意义下是最强的：若损失为凸且 Lipschitz 但不可微，则深度线性网络可能具有次优的局部极小。
引用
@article{arxiv.1712.01473,
title = {Deep linear neural networks with arbitrary loss: All local minima are global},
author = {Thomas Laurent and James von Brecht},
journal= {arXiv preprint arXiv:1712.01473},
year = {2018}
}