多层神经网络平均场极限的严格框架

我们为平均场机制下的多层神经网络建立了一个数学上严格的框架。随着网络宽度的增加，网络的学习轨迹被证明可由一个有意义且动态非线性的极限（即\textit{平均场}极限）很好地刻画，该极限由一组常微分方程（ODEs）刻画。我们的框架适用于广泛的网络架构、学习动态与网络初始化。该框架的核心是新提出的\textit{神经元嵌入}思想，其包含一个非演化的概率空间，可嵌入任意宽度的神经网络。利用我们的框架，我们证明了大宽度多层神经网络的若干性质。首先，我们表明当网络深度至少为四时，独立同分布初始化会对网络的学习轨迹造成强烈的退化效应。其次，我们在若干不同设定下获得了前馈多层网络的若干全局收敛保证。这些包括具有独立同分布初始化的两层与三层网络，以及具有一种特殊相关初始化的任意深度多层网络，该初始化受\textit{双向多样性}这一新概念启发。与依赖凸性的先前工作不同，我们的结果允许非凸损失，并依赖于某种通用逼近性质，这是无限宽神经网络的独有特征，且被证明在整个训练过程中始终成立。除了作为平均场机制下多层网络全局收敛的首批已知结果外，它们还展示了我们框架的灵活性，并包含了若干脱离传统凸优化范式的新思想与新见解。