双层神经网络的平均场理论：无维数界与核极限

我们考虑使用随机梯度下降学习双层神经网络。该学习动力学的平均场描述通过将网络权重的演化近似为 $R^D$ 中概率分布空间（其中 $D$ 为与每个神经元相关联的参数维数）中的演化来刻画。该演化可通过偏微分方程定义，或等价地作为概率分布 Wasserstein 空间中的梯度流。早期工作表明（在某些正则性假设下），只要隐藏单元数量远大于维数 $D$，平均场描述便是准确的。本文中我们建立了更强且更一般的逼近保证。首先，我们表明隐藏单元数量仅需大于一个依赖于数据正则性性质且与维数无关的量。接下来，我们将该分析推广至无界激活函数的情形，这是早期界所未涵盖的。我们将结果扩展至带噪声的随机梯度下降。最后，我们表明核岭回归可作为平均场分析的一个特殊极限被恢复。