神经坍塌：在均值场范式下的景观、动力学与泛化
机器学习
2025-02-05 v2
摘要
神经坍塌是指经过充分训练的神经网络的最后一层表征收敛到高度结构化的几何形态的现象。本文聚焦于已知的该现象的第一个（且最基本）属性，即NC1：类内变异消失。虽然先前的理论研究通过数据无关的非约束特征模型建立了NC1的发生，但本文采用数据特定的视角，分析三层神经网络中的NC1，其中前两层运行于均值场范式，随后接一个线性层。特别是，我们在NC1与损失景观之间建立了根本性的联系：我们证明了在经验损失和梯度范数较小（因此接近 stationary 点）处， approximately 满足NC1，而接近NC1的程度由残差损失和梯度范数控制。我们进一步表明，(i) 对均方误差进行梯度流收敛到具有小经验损失的NC1解，(ii) 对于良好分离的数据分布，同时实现NC1和消失的测试损失。这与经验观察到的NC1在训练期间出现且模型达到接近零测试误差相吻合。总体而言，本文的结果表明，NC1源于梯度训练，由损失景观的特性引起，并且展示了NC1与小测试误差在特定数据分布下的共现。
引用
@article{arxiv.2501.19104,
title = {Neural Collapse Beyond the Unconstrained Features Model: Landscape, Dynamics, and Generalization in the Mean-Field Regime},
author = {Diyuan Wu and Marco Mondelli},
journal= {arXiv preprint arXiv:2501.19104},
year = {2025}
}
备注
35 pages. Fix a typo in the title