通过偏雅可比矩阵对宽深神经网络进行临界初始化：一般理论及应用

深度神经网络以难以进行理论处理而著称。然而，当每层参数数量趋于无穷时，网络函数是一个高斯过程（GP），此时可进行定量预测性描述。高斯近似允许人们制定选择超参数的准则，例如权重和偏置的方差以及学习率。这些准则依赖于为深度神经网络定义的临界性概念。在这项工作中，我们描述了一种诊断临界性的新实用方法。我们引入网络的\emph{偏雅可比矩阵}（partial Jacobians），定义为第$l$层预激活相对于第$l_0\leq l$层预激活的导数。我们推导了偏雅可比矩阵范数的递推关系，并利用这些关系分析带有LayerNorm和/或残差连接的深度全连接神经网络的临界性。我们推导并实现了一个简单且廉价的数值测试，允许人们为一大类深度神经网络（包含全连接、卷积和归一化层）选择最优初始化。利用这些工具，我们定量地表明，正确堆叠LayerNorm（应用于预激活）与残差连接可得到一个对任意初始化都临界的架构。最后，我们应用我们的方法分析ResNet和MLP-Mixer架构，展示了处处临界机制。