通过神经网络层的容量分配

容量分析近来被引入作为分析线性模型如何在其输入空间上分配建模容量的方法。本文将容量分配的概念推广到具有非线性层的神经网络情形。我们证明在某些假设下，该问题等价于在某个考虑了非线性的扩展输入空间内的线性容量分配。我们引入层解耦的概念，其量化了非线性激活使其输出解耦的程度，并表明它在通过层的容量分配中起着核心作用。在解耦完全的高度非线性极限下，我们证明容量在各层间的传播遵循简单的马尔可夫规则，并在具有残差层的深度网络极限下转化为扩散偏微分方程（PDE）。这使我们得以重新得到深度神经网络的一些已知结果，例如有效感受野的大小，或为何 ResNets 避免破碎（shattering）问题。