超宽神经网络的非线性随机矩阵变形半圆律与集中性

本文研究形式为$f(X)=\frac{1}{\sqrt{d_1}}\boldsymbol{a}^\top \sigma\left(WX\right)$的两层全连接神经网络，其中$X\in\mathbb{R}^{d_0\times n}$为确定性数据矩阵，$W\in\mathbb{R}^{d_1\times d_0}$与$\boldsymbol{a}\in\mathbb{R}^{d_1}$为随机高斯权重，$\sigma$为非线性激活函数。我们研究对应于$f(X)$的两个经验核矩阵：经验共轭核（CK）与神经正切核（NTK）的极限谱分布，超越线性宽度 regime（$d_1\asymp n$）。我们聚焦于$\textit{超宽 regime}$，即第一层宽度$d_1$远大于样本量$n$。在对$X$与$\sigma$的适当假设下，当$d_1/n\to\infty$且$n\to\infty$时，出现变形半圆律。我们首先证明具有某种依赖性的广义样本协方差矩阵的该极限律。为在我们的神经网络模型中具体指明它，我们提供一个适用于具有随机权重和Lipschitz激活函数的神经网络的非线性Hanson-Wright不等式。我们还展示了经验CK与NTK在谱范数下围绕其极限核的非渐近集中性，以及它们最小本征值的下界。作为一个应用，我们表明由经验核诱导的随机特征回归在超宽 regime 下达到与其极限核回归相同的渐近性能。这使我们能够使用相应核回归计算随机特征回归的渐近训练与测试误差。