三层神经网络的动力学：初始凝聚
机器学习
2024-02-28 v2 动力系统
摘要
经验和理论工作表明，当两层神经网络的输入权重以小值初始化时，它们会收敛到孤立的方向。这种现象被称为凝聚，表明梯度下降方法在训练过程中倾向于自发地降低神经网络的复杂度。在这项工作中，我们阐明了三层神经网络训练中发生的凝聚现象背后的机制，并将其与两层神经网络的训练区分开来。通过严格的理论分析，我们建立了有效动力学的爆破性质，并给出了凝聚发生的充分条件，这些发现得到了实验结果的证实。此外，我们探讨了凝聚与深度矩阵分解中观察到的低秩偏差之间的关联。
引用
@article{arxiv.2402.15958,
title = {On the dynamics of three-layer neural networks: initial condensation},
author = {Zheng-An Chen and Tao Luo},
journal= {arXiv preprint arXiv:2402.15958},
year = {2024}
}