过参数化神经网络的损失景观

我们探索过参数化神经网络损失景观的若干数学特征。先验地，人们可能设想损失函数看起来像从 $\mathbb{R}^n$ 到 $\mathbb{R}$ 的典型函数——特别是非凸的，具有离散的全局极小值。在本文中，我们证明至少在一种重要意义上，过参数化神经网络的损失函数并不像典型函数。若神经网络有 $n$ 个参数并训练于 $d$ 个数据点，且 $n>d$，我们表明 $L$ 的全局极小值集合 $M$ 通常并非离散，而是 $\mathbb{R}^n$ 中的一个 $n-d$ 维子流形。在实践中，神经网络通常拥有的参数数量比数据点高出数量级，因此该观察意味着 $M$ 通常是 $\mathbb{R}^n$ 中非常高维的子集。