基于随机矩阵理论的深度神经网络损失曲面普适特征
数学物理
2025-04-18 v2 无序系统与神经网络
机器学习
math.MP
摘要
本文考量深度神经网络中随机矩阵普适性的若干方面。受近期实验工作启发,我们利用与局部统计相关的随机矩阵普适性质,基于对其 Hessian 矩阵的写实模型推导深度神经网络的实际启示。特别地,我们推导了深度神经网络谱中离群值的普适特征,并展示了随机矩阵局部定律在流行的预条件梯度下降算法中的重要作用。我们还基于统计物理与随机矩阵理论工具,从相当一般的论证出发,对深度神经网络损失曲面给出见解。
引用
@article{arxiv.2205.08601,
title = {Universal characteristics of deep neural network loss surfaces from random matrix theory},
author = {Nicholas P Baskerville and Jonathan P Keating and Francesco Mezzadri and Joseph Najnudel and Diego Granziol},
journal= {arXiv preprint arXiv:2205.08601},
year = {2025}
}
备注
42 pages