单层神经网络共轭核的最大特征值
概率论
2022-01-14 v1 机器学习
摘要
本文关注源于神经网络研究的某非线性随机矩阵系综的最大特征值的渐近分布。更精确地，我们考虑 ，其中 ， 和 是具有独立同分布中心化元素的随机矩形矩阵。这建模了单层随机前馈神经网络的数据协方差矩阵或共轭核。函数 按元素应用，可视为神经网络的激活函数。我们证明了最大特征值与某些知名线性随机矩阵系综具有相同（依概率）极限。特别地，我们将非线性模型的最大特征值的渐近极限与信息加噪声随机矩阵联系起来，建立了依赖于函数 以及 和 分布的可能相变。这可能对机器学习应用有意义。
引用
@article{arxiv.2201.04753,
title = {Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural Networks},
author = {Lucas Benigni and Sandrine Péché},
journal= {arXiv preprint arXiv:2201.04753},
year = {2022}
}
备注
27 pages, 15 figures