神经崩塌在理解深度学习泛化能力上的局限性
机器学习
2022-02-18 v1 计算机视觉与模式识别
机器学习
摘要
Papyan、Han与Donoho（2020）的近期工作展示了一种引人入胜的“神经崩塌（Neural Collapse）”现象，揭示了训练后期插值分类器的一种结构特性。这开启了一个研究该现象的丰富探索领域。我们的动机是研究这一研究计划的上限：理解神经崩塌能在多大程度上帮助我们理解深度学习？首先，我们考察其在泛化中的作用。我们将神经崩塌猜想细化为两个独立猜想：训练集上的崩塌（一种优化性质）与测试分布上的崩塌（一种泛化性质）。我们发现，虽然神经崩塌常在训练集上发生，但在测试集上并不发生。因此我们得出结论：神经崩塌主要是一种优化现象，其与泛化的关联尚不清楚。其次，我们考察神经崩塌在特征学习中的作用。我们展示了简单的、现实的实验，其中更长的训练导致更差的最后一层特征，如下游任务迁移性能所度量。这表明神经崩塌并非总有利于表示学习，正如先前所声称的。最后，我们给出了“级联崩塌”现象的初步证据，其中某种形式的神经崩塌不仅发生在最后一层，也发生在更早的层中。我们希望我们的工作能鼓励学界继续这条丰富的神经崩塌研究线，同时也考量其固有的局限性。
引用
@article{arxiv.2202.08384,
title = {Limitations of Neural Collapse for Understanding Generalization in Deep Learning},
author = {Like Hui and Mikhail Belkin and Preetum Nakkiran},
journal= {arXiv preprint arXiv:2202.08384},
year = {2022}
}