无约束特征下的神经坍缩
机器学习
2020-11-24 v1
摘要
神经坍缩是深度学习中一种新近由Papyan、Han和Donoho发现的涌现现象。我们提出一个简单的“无约束特征模型”，其中神经坍缩也在经验上涌现。通过研究该模型，我们基于经验风险的地形为神经坍缩的涌现提供了一些解释。
引用
@article{arxiv.2011.11619,
title = {Neural collapse with unconstrained features},
author = {Dustin G. Mixon and Hans Parshall and Jianzong Pi},
journal= {arXiv preprint arXiv:2011.11619},
year = {2020}
}