鞍点对深度学习是否足够好？
机器学习
2017-06-08 v1 机器学习
神经与进化计算
摘要
近年来，从优化角度理解深度神经网络的兴趣日益增长。目前已知，收敛到低代价的局部极小值足以使此类模型在实践中变得有效。然而，在这项工作中，我们基于近期的理论发现和实证研究提出一个新的假设：深度神经网络模型实际上收敛到具有高度退化性的鞍点。我们这项工作的发现是新颖的，并可能对基于梯度下降训练深度网络的方法的发展产生重大影响。我们通过在MNIST和CIFAR-10等标准数据集上进行广泛的实验评估来验证我们的假设，并且还表明，近期试图逃离鞍点的努力最终收敛到具有高度退化性的鞍点，我们将其定义为“好鞍点”。我们还在实验结果中验证了著名的维格纳半圆律。
引用
@article{arxiv.1706.02052,
title = {Are Saddles Good Enough for Deep Learning?},
author = {Adepu Ravi Sankar and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:1706.02052},
year = {2017}
}