过参数化神经网络作为欠定线性系统

我们建立简单神经网络与欠定线性系统之间的联系，以全面探讨神经网络研究中若干有趣的理论问题。首先，我们着重表明此类网络能够实现零训练损失并不令人惊讶。更具体地，我们给出了单隐藏层神经网络宽度的下界，使得仅训练最后线性层就足以达到零训练损失。与现有训练隐藏层权重的工作相比，我们的下界随数据集大小增长得更慢。其次，我们表明通常与 ReLU 激活函数相关的核存在根本性缺陷——存在简单数据集，使得无论参数如何选取或训练，广泛研究的无偏置模型都不可能实现零训练损失。最后，我们对梯度下降的分析清晰地说明了某些矩阵的光谱性质如何影响早期迭代与长期训练行为。我们提出新的激活函数，避免了 ReLU 的缺陷，因为它们对任意一组互异数据点都容许零训练损失解，并在实验中展现出良好的光谱性质。