有限宽神经网络的无限深度极限

本文研究具有随机高斯权重的有限宽残差神经网络的无限深度极限。在适当缩放下，我们证明通过固定宽度并取深度趋于无穷，预激活在分布上收敛于零漂移扩散过程。与预激活弱收敛于高斯随机变量的无限宽度极限不同，我们证明无限深度极限会产生依赖于激活函数选择的不同分布。我们记录了这些分布具有闭式（不同）表达式的两种情况。我们进一步展示了当宽度从 3 增至 4 时后激活范数的一个引人注目的机制转变现象。最后，我们研究先无限深度后无限宽度的顺序极限，并将其与更常被研究的先无限宽度后无限深度极限进行比较。