基于预解式方法的单隐层神经网络分析

本文中，我们研究由单隐层神经网络生成的随机特征矩阵 $M = Y Y^\ast$（其中 $Y = f(WX)$）的渐近谱密度，其中 $W$ 和 $X$ 为具有独立同分布零均值元素的随机矩形矩阵，$f$ 为逐元素施加的非线性光滑函数。我们证明极限谱分布的Stieltjes变换近似满足一个四次自洽方程，该方程正是[Pennington, Worah]与[Benigni, P\'ech\'e]用矩方法所得的方程。我们将先前结果推广到加性偏置 $Y=f(WX+B)$ 的情形，其中 $B$ 为独立秩一高斯随机矩阵，更贴近实际遇到的神经网络结构。我们的关键发现是：在加性偏置情形下，不可能选择一种激活函数保持层间奇异值分布，这与无偏置情形下仅需简单积分约束即可实现等谱性形成鲜明对比。为获得经验谱密度的渐近结果，我们遵循随机矩阵理论中通过累积量展开的预解式方法。我们发现该方法比矩方法更稳健且组合复杂度更低，并期望它也能应用于前者组合学变得难以处理的模型。预解式方法已被广泛使用，但相较以往工作，此处它被应用于非线性随机矩阵。