交叉熵损失下无约束特征模型在类别不平衡数据中的神经崩溃现象

近年来，深度神经网络（DNNs）在计算机视觉和文本处理的各种任务中取得了巨大成功。有趣的是，这些具有海量参数的 DNNs 在训练终期（TPT）的特征表示和最后一层分类器上共享相似的结构特性。具体地，如果训练数据是平衡的（每个类具有相同数量的样本），可以观察到同一类样本的特征向量收敛到其对应的类内均值特征，且它们的两两夹角相同。这一引人入胜的现象被称为神经崩溃（NC），由 Papyan、Han 和 Donoho 于 2019 年首次提出。许多近期工作通过采用所谓的无约束特征模型（UFM）试图从理论上解释这一现象。在本文中，我们在无约束特征模型的背景下，研究 NC 现象在交叉熵损失下向不平衡数据的扩展。与最先进的结果相比，我们的贡献是多重的：（a）我们展示特征向量表现出崩溃现象，即同一类内的特征崩溃到相同的均值向量；（b）均值特征向量不再形成等角紧框架。相反，它们的两两夹角取决于样本量；（c）我们还精确刻画了少数类崩溃（少数群体的特征向量崩溃到单一向量）将发生的尖锐阈值；（d）最后，我们认为数据量不平衡的影响随着样本量增长而减弱。我们的结果提供了交叉熵损失下不平衡数据 NC 的完整图景。数值实验证实了我们的理论分析。