随机矩阵理论与神经网络的损失曲面

神经网络模型是机器学习最成功的方法之一，近年来得到了极大的发展和研究，并在几乎所有可设想的科学、工程和现代生活领域中找到了具体的现实应用。对神经网络的理论理解远远落后于它们的实际成功以及围绕它们发展起来的工程启发式方法。随机矩阵理论提供了一个丰富的工具框架，可用于从理论上探索神经网络的现象学。在本文（ thesis，指学位论文）中，我们对先前利用随机矩阵理论理解和描述大型神经网络损失曲面的工作进行了重要扩展，特别是推广到了不同架构。受随机矩阵理论在物理学及其他领域历史应用的启发，我们确立了真实神经网络中局部随机矩阵普适性的存在，并将其作为建模假设，推导出关于神经网络损失曲面及其谱的Hessian矩阵的有力且新颖的结果。除了这些主要贡献外，我们利用神经网络的随机矩阵损失曲面模型来阐明现代神经网络训练方法，甚至推导出一种流行优化算法的有效新变体。总体而言，本文（thesis）为巩固随机矩阵理论在现代神经网络理论研究中的地位做出了重要贡献，揭示了现有方法的某些局限，并基于局部随机矩阵普适性开启了随机矩阵理论在深度学习理论中全新角色的研究，取得了重要的实验发现和新颖的理论结果。