神经网络中的插值相变：惰性训练下的记忆与泛化

现代神经网络通常在强过参数化状态下运行：它们包含如此多的参数，以至于即使将真实标签替换为纯随机标签，也能插值训练集。尽管如此，它们在未见数据上仍能取得良好的预测误差：插值训练集并不会导致较大的泛化误差。此外，过参数化似乎是有益的，因为它简化了优化景观。本文在两层神经网络与神经正切（NT）机制的背景下研究这些现象。我们考虑一个简单的数据模型，具有 $d$ 维各向同性协变量向量和 $N$ 个隐藏神经元。我们假设样本量 $n$ 和维度 $d$ 都很大，且呈多项式相关。我们的第一个主要结果是在过参数化区域 $Nd\gg n$ 下对经验 NT 核的特征结构的刻画。作为推论，该刻画表明，一旦 $Nd\gg n$，经验 NT 核的最小特征值就有下界远离零，因此网络可以在同一区域精确插值任意标签。我们的第二个主要结果是对 NT 岭回归泛化误差的刻画，其中包含最小 $\ell_2$ 范数插值这一特例。我们证明，一旦 $Nd\gg n$，测试误差可由关于无限宽核的核岭回归误差很好地近似。后者又可由多项式岭回归的误差很好地近似，其中正则化参数因与激活函数高次分量相关的“自诱导”项而增大。多项式次数取决于样本量和维度（特别是 $\log n/\log d$）。