神经元真的坍塌了吗？论神经表征中的细粒度结构
机器学习
2023-06-30 v1
摘要
近期工作观察到训练良好的神经网络中一种有趣的“神经坍塌（Neural Collapse）”现象，即同一标签训练样本的最后一层表征彼此坍塌。这似乎表明最后一层表征完全由标签决定，而不依赖于输入分布的固有结构。我们提供证据表明这并非完整描述，且表观坍塌隐藏了表征中重要的细粒度结构。具体而言，即使表征表观坍塌，剩余的少量变异仍忠实且准确地捕捉了输入分布的固有结构。例如，若我们仅在CIFAR-10上用5个粗粒度标签（将两个类合并为一个超类）训练至收敛，我们可通过无监督聚类从习得的表征中重建原始10类标签。重建标签在CIFAR-10测试集上达到93%准确率，几乎匹配同架构下正常CIFAR-10的准确率。我们还提供了一个初步理论结果，在简化合成设定中展示了细粒度表征结构。我们的结果具体展示了输入数据结构如何在决定神经表征细粒度结构中发挥重要作用，超越了神经坍塌的预测。
引用
@article{arxiv.2306.17105,
title = {Are Neurons Actually Collapsed? On the Fine-Grained Structure in Neural Representations},
author = {Yongyi Yang and Jacob Steinhardt and Wei Hu},
journal= {arXiv preprint arXiv:2306.17105},
year = {2023}
}
备注
This paper has been accepted as a conference paper at ICML 2023