深度神经网络的全局最优性条件

我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题，尽管近期取得进展，我们对此损失曲面的理解仍不完整。对于深度线性网络，我们给出了风险函数临界点成为全局最小值的必要且充分条件。令人惊讶的是，我们的条件提供了一种可有效检验的全局最优性测试，而此类测试在非凸优化中通常是难处理的。我们进一步将这些结果推广到深度非线性神经网络，并证明了类似的全局最优性充分条件，尽管是在更受限的函数空间设定下。