分类神经网络中间隐藏层中的神经崩溃现象
机器学习
2023-08-08 v1
摘要
神经崩溃(NC) 精确描述了分类神经网络最终隐藏层中各类别表征的情况。该描述为理解这些网络如何在训练误差为零之后继续训练并良好泛化提供了见解。然而迄今为止，(NC) 仅在这些网络的最终层中被研究。在本文中，我们首次对这些分类器中间隐藏层中 (NC) 的出现进行了全面的实证分析。我们考察了多种网络架构、激活函数和数据集，并证明在网络的绝大多数中间隐藏层中会出现某种程度的 (NC)，其中任一给定层中的崩溃程度通常与该层在神经网络中的深度呈正相关。此外，我们指出：(1) 样本中类内方差的减少几乎全部发生在网络的较浅层；(2) 类均值间的角分离随隐藏层深度持续增大；(3) 简单数据集仅需网络的较浅层即可完全学习，而更困难的数据集则需要整个网络。最终，这些结果对分类神经网络中特征的结构化传播提供了细粒度见解。
引用
@article{arxiv.2308.02760,
title = {Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks},
author = {Liam Parker and Emre Onal and Anton Stengel and Jake Intrater},
journal= {arXiv preprint arXiv:2308.02760},
year = {2023}
}