神经崩塌：建模原理与泛化综述
机器学习
2023-04-12 v2
摘要
深度分类器神经网络在训练误差达到零时进入训练的终末阶段（TPT），并往往展现出引人入胜的神经崩塌（NC）特性。神经崩塌本质上代表一种状态：此时最终隐藏层输出的类内变异性无穷小，且其类均值构成一个单纯形等角紧框架。这将最后一层的行为简化为最近类中心决策规则。尽管该状态简单，达到它的动力学及其含义尚待充分理解。在本工作中，我们综述了有助于建模神经崩塌的原理，随后综述了该状态对神经网络泛化与迁移学习能力的影响。最后，我们讨论未来研究的潜在途径与方向以作总结。
引用
@article{arxiv.2206.04041,
title = {Neural Collapse: A Review on Modelling Principles and Generalization},
author = {Vignesh Kothapalli},
journal= {arXiv preprint arXiv:2206.04041},
year = {2023}
}
备注
Transactions on Machine Learning Research (TMLR), 2023