多个大随机矩阵的乘积与深度神经网络中的梯度

我们研究随机矩阵乘积在项数矩阵大小同时趋于无穷时的情形。我们的主要定理是：此类乘积作用于任意固定向量后的 $\ell_2$ 范数的对数渐近服从高斯分布。我们所发现的涨落可视为如下极限的有限温度修正：先令矩阵大小趋于无穷，再令矩阵个数趋于无穷。根据所考虑的缩放极限不同，极限高斯分布的均值和方差仅依赖于矩阵元素所抽取测度的前两阶或前四阶矩。我们还获得了范数矩以及到高斯分布的 Kolmogorov-Smirnov 距离显式误差界。最后，我们应用所得结果获得了关于具有 ReLU 激活函数的随机初始化深度神经网络中梯度稳定性的精确信息。这为在全连接、具 ReLU 激活及给定架构的神经网络中梯度爆炸与消失问题发生的程度提供了定量度量。