具有几乎所有非线性激活函数的神经网络均存在次优局部极小值

过参数化是否能消除神经网络的次优局部极小值？在[59]中针对1隐藏层宽神经网络给出了肯定的答案。最近少数工作将设定扩展到了多层神经网络，但它们都没有证明每个局部极小值都是全局的。为何这一结果从未扩展到深度网络？本文中，我们表明该任务不可能完成，因为[59]中针对1隐藏层网络的结果无法成立。更具体地，我们证明对于任意具有一般输入数据和非线性激活函数的多层网络，次优局部极小值都可能存在，无论网络多宽（只要最后隐藏层至少有两个神经元）。虽然[59]的结果假设sigmoid激活，我们的反例覆盖了大量激活函数（在连续函数集中稠密），表明该局限并非源于特定激活。我们的结果表明“无坏局部极小值”可能不足以解释过参数化对训练神经网络的好处。