深度与宽度对深度学习中局部极小值的影响
机器学习
2019-07-10 v4 神经与进化计算
最优化与控制
机器学习
摘要
在本文中,我们分析了深度与宽度对局部极小值质量的影响,未采用文献中强烈的过参数化与简化假设。在没有任何简化假设的情况下,对于带平方损失的深度非线性神经网络,我们从理论上表明,随着深度与宽度的增加,局部极小值的质量趋向于逼近全局最小值。此外,在深度非线性神经网络上具有局部诱导结构时,从理论上证明神经网络的局部极小值的值不差于相应经典机器学习模型的全局最优值。我们使用合成数据集以及 MNIST、CIFAR-10 和 SVHN 数据集从经验上支持我们的理论观察。与先前带有强烈过参数化假设的研究相比,本文结果不需要过参数化,而是将过参数化的渐进效应展示为一般结果的推论。
引用
@article{arxiv.1811.08150,
title = {Effect of Depth and Width on Local Minima in Deep Learning},
author = {Kenji Kawaguchi and Jiaoyang Huang and Leslie Pack Kaelbling},
journal= {arXiv preprint arXiv:1811.08150},
year = {2019}
}