无糟糕局部极小值：多层神经网络的数据无关训练误差保证
机器学习
2016-05-31 v2 机器学习
神经与进化计算
摘要
我们使用平滑分析技术，为多层神经网络（MNNs）在可微局部极小值处的训练损失提供保证。具体而言，我们研究了具有分段线性激活函数、二次损失和单输出、且在适度过参数化条件下的MNNs。我们证明，对于具有一个隐藏层的MNN，在几乎每个数据集和类dropout噪声实现下，每个可微局部极小值处的训练误差都为零。然后我们将这些结果扩展到多于一个隐藏层的情况。我们的理论保证基本上不对训练数据作任何假设，并进行了数值验证。这些结果暗示了为何此类MNN的高度非凸损失可以通过局部更新（例如随机梯度下降）轻松优化，正如经验所观察到的那样。
引用
@article{arxiv.1605.08361,
title = {No bad local minima: Data independent training error guarantees for multilayer neural networks},
author = {Daniel Soudry and Yair Carmon},
journal= {arXiv preprint arXiv:1605.08361},
year = {2016}
}