平均场 regime 下三层神经网络的全局收敛性

在平均场 regime 下，神经网络被适当缩放，使得当宽度趋于无穷时，学习动态趋于一个非线性且非平凡的动力学极限，即平均场极限。这为通过分析平均场极限来研究大宽度神经网络提供了一条途径。近期工作已成功将此类分析应用于两层网络并给出全局收敛保证。然而，向多层网络的推广一直是一个极具挑战的难题，对于超过两层的网络在平均场 regime 下的优化效率知之甚少。本工作中，我们证明了平均场 regime 下无正则前馈三层网络的全局收敛结果。我们首先建立了一个严格的框架，以在随机梯度下降训练下确立三层网络的平均场极限。为此，我们提出神经元嵌入 (neuronal embedding) 的思想，其包含一个固定的概率空间，封装了任意大小的神经网络。所识别的平均场极限随后被用于证明在适当正则性与收敛模式假设下的全局收敛保证，该保证——与先前关于两层网络的工作不同——并不关键依赖于凸性。该结果背后的基础是神经网络固有的通用逼近性质，重要的是通过代数拓扑论证表明该性质在任意有限训练时间（未必在收敛时）均成立。