张量程序 III：神经矩阵定律
神经与进化计算
2021-05-11 v3 概率论
摘要
在神经网络（NN）中，*权重矩阵*将输入线性变换为*预激活值*，随后被非线性变换为*激活值*。典型的 NN 交错大量此类线性与非线性变换以表达复杂函数。因此，（预）激活值以复杂方式依赖于权重。我们证明，出人意料地，随机初始化的 NN 的（预）激活值在 NN 宽度趋于无穷时与权重*独立*，其意义为随机矩阵理论中的渐近自由性。我们称之为自由独立原理（FIP），它有以下推论：1）它严格证明了 Pennington 等人 [36,37] 中 NN 渐近 Jacobian 奇异值分布的计算，而该计算对训练极深 NN [48] 至关重要。2）它为用于计算神经网络神经正切核的梯度独立假设提供了新的依据。FIP 及这些结果适用于任意神经架构。我们通过证明任意张量程序的 Master Theorem 来展示 FIP，如 Yang [50,51] 所引入，并推广了那些工作中证明的 Master Theorem。作为此新 Master Theorem 的热身演示，我们给出半圆律与 Marchenko-Pastur 律的新证明，以此将我们的框架与这些基础数学结果进行基准比对。
引用
@article{arxiv.2009.10685,
title = {Tensor Programs III: Neural Matrix Laws},
author = {Greg Yang},
journal= {arXiv preprint arXiv:2009.10685},
year = {2021}
}