NTK谱维数的常数性：隐式正则化、有限宽度稳定性与可扩展估计理论

现代深度网络虽然参数数量庞大，却常常表现出良好的泛化能力，这暗示了一种并未体现在参数计数中的低内在复杂度。我们通过研究神经切线核（NTK）Gram矩阵的有效秩来探讨这种复杂度在初始化时的表现，$r_{\text{eff}}(K) = (\text{tr}(K))^2/\|K\|_F^2$。对于独立同分布的数据和无限宽度NTK $k$，我们证明了一个常数极限定律 $\lim_{n\to\infty} \mathbb{E}[r_{\text{eff}}(K_n)] = \mathbb{E}[k(x, x)]^2 / \mathbb{E}[k(x, x')^2] =: r_\infty$，并得到亚正态集中。我们进一步建立了有限宽度稳定性结果：若有限宽度NTK在算子范数上偏离 $O_p(m^{-1/2})$（宽度为 $m$），则 $r_{\text{eff}}$ 的变化为 $O_p(m^{-1/2})$。我们设计了一个基于随机输出探针和参数Jacobians的CountSketch抽样估计器，并证明了其在条件下具有无偏性和一致性，并给出了显式的方差界。在CIFAR-10数据集上使用ResNet-20/56（宽度16/32）进行实验，跨 $n \in \{10^3, 5\times10^3, 10^4, 2.5\times10^4, 5\times10^4\}$，我们观察到 $r_{\text{eff}} \approx 1.0\text{--}1.3$，且在 $n$ 中的斜率约为0，与理论一致，核矩预测值与拟合常数高度吻合。