重尾权重的共轱核随机矩阵全局律

我们研究了共轱核随机矩阵 $YY^\top$ 的渐近谱分布，其中 $Y= f(WX)$ 源自二维神经网络模型。我们考虑设置 $W$ 和 $X$ 为随机矩形矩阵，其 entry i.i.d. 分布，其中 $W$ 的 entry 遵循 heavy-tailed distribution，而 $X$ 的 entry 具有 light tails。我们对 $W$ 的假设包括广泛的 heavy-tailed distribution 类，例如在 $\alpha \in ]0,2[$ 区间内的对称 $\alpha$-stable 定律以及每行 $\mathcal{O}(1)$ 个非零 entry 的稀疏矩阵。激活函数 $f$ 逐 entry 应用，且为 bounded、smooth、odd 和 nonlinear。我们通过计算其 moments 来计算 $YY^\top$ 的 limiting eigenvalue distribution，并展示了 heavy-tailed weights 诱导 $Y$ entry 之间 strong correlations，导致与 light-tailed 情况下截然不同的谱行为。