作为可微扰求解层级的随机全连接神经网络

本文考虑具有高斯随机权重与偏置以及 $L$ 个隐藏层的全连接神经网络，每层宽度正比于大参数 $n$。对于多项式有界的非线性函数，我们给出了网络输出及其导数联合累积量在 $1/n$ 幂次下的精确估计。此外，我们证明网络累积量构成了 $1/n$ 幂次下可微扰求解的层级：某一层中 $k$ 阶累积量的递推在 $1/n$ 的首阶上仅依赖于前一层中 $j\leq k$ 阶累积量。然而，通过求解多种此类递推，我们发现深度-宽度比 $L/n$ 起到了有效网络深度的作用，控制了单个神经元处涨落的尺度与神经元间关联的大小。因此，尽管我们导出的累积量递推构成了 $1/n$ 幂次下的层级，$1/n^k$ 阶贡献常像 $L^k$ 一样增长，从而在正的 $L/n$ 下不可忽略。我们利用此研究了一个略简化的梯度爆炸与消失问题，证明该特定变体当且仅当 $L/n$ 较大时发生。本文若干关键思想最初由 Daniel A. Roberts、Sho Yaida 与作者在近期一本专著中以物理学严谨性水平提出。本文不仅使这些思想在数学上严格化，还显著扩展了它们，为获得 $1/n$ 所有阶的修正开辟了道路。