神经网络中的深度退化：全连接ReLU网络初始化时角度的消失
机器学习
2025-11-18 v3 机器学习
概率论
摘要
尽管在多种任务上表现卓越，深度神经网络的许多性质尚缺乏理论理解。其中一个谜团是深度退化现象：网络越深，初始化时网络越接近常数函数。本文中，我们考察ReLU神经网络两个输入之间夹角随层数增加的演化。通过组合展开，我们找到了该角度随深度增加趋于零的精确公式。这些公式捕捉了在流行的无限宽度极限框架中不可见的微观涨落，并导致定性不同的预测。我们通过蒙特卡洛实验验证了理论结果，并表明其结果能准确近似有限网络行为。\review{我们还经验性地研究了深度退化现象如何对真实网络的训练产生负面影响。}公式以经过ReLU函数的相关高斯分布的混合矩表示。我们还发现了这些混合矩与Bessel数之间令人惊讶的组合联系，使得我们能够显式计算这些矩。
引用
@article{arxiv.2302.09712,
title = {Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization},
author = {Cameron Jakub and Mihai Nica},
journal= {arXiv preprint arXiv:2302.09712},
year = {2025}
}
备注
Minor updates and exposition improved. Added a section with more numerical experiments. 45 pages, comments welcome. To appear in Journal of Machine Learning research