Neural Collapse by Design：在超球面上学习类原型
机器学习
2026-05-22 v2 计算机视觉与模式识别
摘要
监督分类具有神经坍缩(Neural Collapse, NC)的理论最优，但其两种主流范式均未在实践中达到。交叉熵( CE)未约束径向自由度，收敛至退化几何；而监督对比学习( SCL)在预训练期间驱动特征趋向NC，但在后续线性探针阶段丢弃了该结构。我们指出，两种范式实为同一方法的不同表现，即在单位超球面上对比原型，且实现差距的关键在于固定每个范式的失效点。从CE角度，我们提出NTCE和NONL两种归一化损失，将对比优化的缺失要素引入分类器学习：大规模负样本集合和解耦的对齐性与均匀性术语。从SCL角度，我们证明SCL目标在整个训练过程中均优化为原则性分类器，其权重即为类均值嵌入，线性探针因此冗余且有害。实验表明，在包括ImageNet-1K在内的四个基准上，NTCE和NONL超越CE精度，接近NC(≥95%)，且在不足CE迭代7.5%的情况下匹配CE收敛NC的4/5指标；而固定原型的SCL可匹配线性探针，无需数小时的分类器训练。学习到的几何结构带来了+5.5%的平均相对提升，严重类别不平衡情形下可达+8.7%，并在ImageNet-C上提高对腐化数据的鲁棒性。我们的工作将监督学习重构为超球面上的原型学习，NC通过设计实现。
引用
@article{arxiv.2605.20302,
title = {Neural Collapse by Design: Learning Class Prototypes on the Hypersphere},
author = {Panagiotis Koromilas and Theodoros Giannakopoulos and Mihalis A. Nicolaou and Yannis Panagakis},
journal= {arXiv preprint arXiv:2605.20302},
year = {2026}
}
备注
43rd International Conference on Machine Learning (ICML 2026); Code: https://github.com/pakoromilas/nc_by_design