宽深度神经网络的优化景观是良性的
机器学习
2021-01-14 v2 机器学习
摘要
我们分析了宽网络的深度学习优化景观。我们强调了约束对于此类网络的重要性，并证明对此类网络进行的约束与非约束经验风险最小化均不存在受限点，即难以逃脱的次优参数。因此，我们的理论证实了普遍看法：宽神经网络不仅具有高度表达能力，而且相对易于优化。
引用
@article{arxiv.2010.00885,
title = {Optimization Landscapes of Wide Deep Neural Networks Are Benign},
author = {Johannes Lederer},
journal= {arXiv preprint arXiv:2010.00885},
year = {2021}
}