深度本身不会产生不良局部极小值

在深度学习中，深度和非线性都会产生非凸的损失曲面。那么，仅凭深度是否会产生不良局部极小值？本文证明，在没有非线性的情况下，深度本身虽然会诱导非凸损失曲面，但并不会产生不良局部极小值。基于这一洞见，我们极大地简化了最近提出的一个证明，以表明前馈深度线性神经网络的所有局部极小值都是全局极小值。我们的理论结果以更少的假设推广了先前的结果，并且该分析提供了一种方法，可在深度线性模型中展示超越平方损失的类似结果。