标签不平衡如何塑造几何结构：多标签神经崩塌的通用谱分析
机器学习
2026-05-05 v1
摘要
本工作探讨了多标签分类中的神经崩塌 (Neural Collapse, NC) 现象，将其概念框架从多类学习拓展至一般相关且不平衡的多标签情境。虽然最近的研究识别出多标签特征的"标签级平均"结构，但该观点依赖于标签平衡和组合对称性的隐含假设，因而未能考虑标签相关性和数据不平衡导致的几何扭曲，这在实际中十分常见。我们解决了 Li 等人（2024）提出的高倍数不平衡猜想，表明更高的倍数 prototypes 遵循基于类频率加权的合成规则，而非均匀平均。为此，我们提出了严格的谱控制框架，用于分析多标签学习在一般不平衡条件下的收敛阶段。我们引入标签协方差谱 ，作为控制分布相关下界几何的标量量，从标签分布的二阶矩矩阵中推导而来。与平均观点相反，我们的分析表明，中心化标签协方差谱控制收敛几何的稳定性，通过量化最弱的中心化类间对比方向来实现。我们证明，经典的标签级平均仅在完美正交的情况下才会出现。合成分布的数值实验验证了我们的理论界限。本工作解决了不平衡猜想的比例平均问题，建立了一个将神经崩塌扩展至复杂不平衡多标签情境的统一理论框架。
引用
@article{arxiv.2605.01897,
title = {How Label Imbalance Shapes Geometry: A General Spectral Analysis of Multi-Label Neural Collapse},
author = {Xiaoxuan Ma and Yixuan Yang and Song Li and Xiangyun Hui},
journal= {arXiv preprint arXiv:2605.01897},
year = {2026}
}