梯度下降为何调整网络容量：理解神经网络训练中的容量适应机制
机器学习
2026-05-08 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
我们对神经网络的理论理解始终滞后于其经验成功。其中一个重要的未解释现象是：在梯度下降训练过程中，神经网络的理论容量为何降低为适合任务的有效容量。我们通过分析单隐藏层ReLU网络中单个神经元的学习动力学，来探讨梯度下降如何实现这一过程。我们识别出三个动态原理，即相互对齐、解锁和竞赛，共同解释了为何可以通过合并等价神经元或剔除低范数权重来成功降低容量的原因。我们特别解释了幸运票证（lottery ticket conjecture）的机制，即特定神经元的有利初始条件为何使其获得更高的权重范数。
引用
@article{arxiv.2602.04832,
title = {It's Not a Lottery, It's a Race: Understanding How Gradient Descent Adapts the Network's Capacity to the Task},
author = {Hannah Pinson},
journal= {arXiv preprint arXiv:2602.04832},
year = {2026}
}