神经切贴核在二层神经网络中的特征值分布——二次尺度分析

我们计算了在特定维度尺度下，二维神经网络神经切贴核的渐近特征值分布。具体而言，如果$X\in\mathbb{R}^{n\times d}$是i.i.d随机矩阵，$W\in\mathbb{R}^{d\times p}$是i.i.d $\mathcal{N}(0,1)$矩阵且$D\in\mathbb{R}^{p\times p}$是具有i.i.d有界特征的对角矩阵，我们考虑矩阵\n\n$$\mathrm{NTK} = \frac{1}{d}XX^\top \odot \frac{1}{p} \sigma'\left( \frac{1}{\sqrt{d}}XW \right)D^2 \sigma'\left( \frac{1}{\sqrt{d}}XW \right)^\top$$\n\n其中$\sigma'$是对矩阵元素逐元素应用的伪 Lipschitz 函数，且在尺度$\frac{n}{dp}\to \gamma_1$和$\frac{p}{d}\to \gamma_2$下。我们描述渐近分布为马兆戈尔-帕斯特尔分布与$\sigma$和$D$相关的确定性分布的自由乘积。