非线性随机矩阵ensemble的生成展开及其在神经网络中的应用
概率论
2025-05-14 v5 机器学习
摘要
我们提出了一种统一的方法，用于研究与特定非线性随机矩阵ensemble及其相关随机神经网络的初始化行为。该方法从一种新颖的神经网络级数展开开始，这种展开将Faà di Bruno公式推广到任意次数的组合。单项式的作用由索引为有向图的随机多线性映射所取代，其边对应于随机矩阵。关键在于，该展开线性化了激活函数的影响，使得可以直接应用韦克原理和生成展开技术。作为应用，我们证明了关于随机权重神经网络的若干结果。首先，我们给出了神经网络收敛于高斯过程为其宽度趋于无穷大这一事实的新证明。其次，我们量化了神经切贴核(NTK)收敛于其确定性极限的速率，使用弗罗贝尼乌斯范数。最后，我们计算了雅可比矩阵极限谱分布的矩(此前仅已知前两矩)，将其表达为非交叉分区的和。所有这些结果都推广到具有稀疏且非高斯权重的神经网络情形，前提是满足矩假设。
引用
@article{arxiv.2407.08459,
title = {Genus expansion for non-linear random matrix ensembles with applications to neural networks},
author = {Nicola Muca Cirone and Jad Hamdan and Cristopher Salvi},
journal= {arXiv preprint arXiv:2407.08459},
year = {2025}
}
备注
63 pages. v5: Previous versions contained non-trivial errors and had overlooked important references. This version addresses this and includes substantial changes in the exposition