用自由概率预测前馈全连接神经网络的性能
机器学习
2023-04-26 v3 人工智能
机器学习
最优化与控制
概率论
摘要
神经网络学习过程中的梯度下降可能面临诸多不稳定性。Jacobian的谱密度是分析稳定性的关键组成部分。继Pennington等人工作之后，此类Jacobian使用自由概率论（FPT）中的自由乘法卷积建模。我们提出一种可靠且极快的方法，在给定架构与初始化下计算相关谱密度。该方法具有受控且被证明的收敛性。我们的技术基于同伦法：它是一种自适应Newton-Raphson格式，串联多个吸引域。为证明方法的适用性，我们展示训练前计算的相关FPT度量与最终测试精度高度相关——高达85%。我们还通过证据表明神经网络的一个非常可取的特征是其初始化时Jacobian的双曲性，从而弱化了学习发生在混沌边缘这一观点。
引用
@article{arxiv.2111.00841,
title = {Free Probability for predicting the performance of feed-forward fully connected neural networks},
author = {Reda Chhaibi and Tariq Daouda and Ezechiel Kahn},
journal= {arXiv preprint arXiv:2111.00841},
year = {2023}
}
备注
20 pages, many figures ; v1: Preliminary version ; v2: Added numerical benchmarks, and changed presentation; v3: Accepted in Neurips2022