面向不平衡分类的全维度神经坍缩
机器学习
2024-08-15 v1 计算机视觉与模式识别
摘要
神经坍缩（NC）在平衡数据集训练的终末阶段展现出优雅的几何结构，使个体激活（特征）、类均值和分类器（权重）向量达到最优的类间可分性。一旦转向不平衡分类，NC的这种最优结构会被著名的少数类坍缩现象轻易破坏，即少数类的分类器向量被挤压。作为回应，现有工作通常通过优化分类器来恢复NC。然而，我们发现这种挤压现象不仅局限于分类器向量，也发生在类均值上。因此，仅在分类器层面重建NC可能是徒劳的，因为特征均值仍然被压缩，导致NC固有的自对偶性（即类均值和分类器向量互相收敛）被破坏，并意外导致个体激活向对应类均值的坍缩不理想。为摆脱这些困境，本文提出了统一的全方位神经坍缩框架（AllNC），旨在全面恢复NC的多个方面，包括个体激活、类均值和分类器向量。我们全面分析了其有效性，并在多个基准数据集上验证了其在平衡和不平衡设置下均达到最先进性能。
引用
@article{arxiv.2408.07253,
title = {All-around Neural Collapse for Imbalanced Classification},
author = {Enhao Zhang and Chaohua Li and Chuanxing Geng and Songcan Chen},
journal= {arXiv preprint arXiv:2408.07253},
year = {2024}
}