无约束ReLU特征模型下交叉熵类别不平衡学习的神经坍缩

当前训练深度神经网络进行分类任务的范式包括最小化经验风险，即使训练误差已经消失，仍将训练损失值推向零。在训练的最终阶段，观察到最后一层特征坍缩到其类均值，并且这些类均值收敛到一个等角紧框架（ETF）单纯形的顶点。这种现象被称为神经坍缩（NC）。为了从理论上理解这一现象，最近的工作采用简化的无约束特征模型，证明了NC出现在训练问题的全局解中。然而，当训练数据集是类别不平衡时，一些NC性质将不再成立。例如，当损失收敛时，类均值几何将偏离ETF单纯形。在本文中，我们将NC推广到交叉熵损失在无约束ReLU特征模型下的不平衡情形。我们证明，虽然类内特征坍缩性质在此设置下仍然成立，但类均值将收敛到一个由不同长度的正交向量组成的结构。此外，我们发现分类器权重与缩放和中心化的类均值对齐，缩放因子取决于每个类别的训练样本数量，这推广了类别平衡设置下的NC。我们通过在实际架构和数据集上的实验实证证明了我们的结果。