尽管低秩偏置，神经崩溃仍然持久
机器学习
2025-10-07 v2
摘要
神经崩溃（Neural Collapse, NC）及其多层版本——深度神经崩溃（Deep Neural Collapse, DNC），描述了在训练深层网络的特征和权重中发生的结构化几何现象。最近的理论工作由 Sukenik 等人使用深度无约束特征模型（Deep Unconstrained Feature Model, UFM）提出，认为 DNC 在均方误差（MSE）损失下是次优解。他们 heuristic 地认为，这是由于 L2 正则化引起的低秩偏置所致。本文延续了这一结果，扩展至使用交叉熵损失训练的深度 UFM，证明高秩结构（包括 DNC）通常并非最优。我们对相关的低秩偏置进行了特征化，证明在网络深度增加的情况下，全局最小值中非可忽略的奇异值数量存在固定上界。我们进一步分析了损失函数景观，表明 DNC 在该景观中出现的频率高于其他临界配置，这一发现解释了其在实验中频繁出现的现象。我们的结果通过深层 UFM 和深层神经网络的实验得到验证。
引用
@article{arxiv.2410.23169,
title = {The Persistence of Neural Collapse Despite Low-Rank Bias},
author = {Connall Garrod and Jonathan P. Keating},
journal= {arXiv preprint arXiv:2410.23169},
year = {2025}
}
备注
48 pages, 19 figures. To appear in NeurIPS 2025. Slightly reformatted for readability