过参数化神经网络中初始盆地的质量
机器学习
2016-06-15 v3 机器学习
摘要
近年来，以人工神经网络为形式的深度学习在各种困难的机器学习应用上取得了显著的实际成功。然而，对此的理论解释仍是一个主要开放问题，因为训练神经网络涉及优化高度非凸的目标函数，并且已知在最坏情况下计算困难。在这项工作中，我们研究相关非凸目标函数的\emph{几何}结构，在ReLU网络和从网络参数随机初始化出发的背景下。我们确定了某些条件，在这些条件下它变得更利于优化，即意味着（i）以高概率初始化在一个点，从该点存在一条单调下降到全局最小值的路径；以及（ii）以高概率初始化在一个（适当定义的）具有小最小目标值的盆地。我们结果中的一个共同主题是，这样的性质更可能在大（“过参数化”）网络中成立，这与近期一些经验和理论观察一致。
引用
@article{arxiv.1511.04210,
title = {On the Quality of the Initial Basin in Overspecified Neural Networks},
author = {Itay Safran and Ohad Shamir},
journal= {arXiv preprint arXiv:1511.04210},
year = {2016}
}