轻度过参数化的 ReLU 网络具有有利的损失景观

我们研究了在通用有限输入数据集上、针对平方误差损失的浅层与深层轻度过参数化 ReLU 神经网络的损失景观。我们通过计数与体积两方面表明，大多数激活模式对应于没有糟糕局部极小值的参数区域。此外，对于一维输入数据，我们证明网络中可实现的大多数激活区域包含一组高维的全局极小值且不存在糟糕的局部极小值。我们通过实验证实了这些结果，发现了从大多数区域具有满秩 Jacobian 矩阵到许多区域具有亏秩取决于过参数化程度的相变。