空间对齐：长尾学习诱导神经崩塌的缺失关键要素
机器学习
2025-12-10 v1 人工智能
摘要
近期研究表明，在类别平衡条件下，类别特征均值与分类器权重会自发对齐形成单极等角紧致帧（simplex equiangular tight frame, ETF）。然而，在长尾分布场景下，严重的样本不平衡会阻碍NC现象的出现，导致模型泛化性能差。当前研究主要通过对特征或分类器权重施加约束来恢复ETF几何，却忽视了一个关键问题：特征空间与分类器权重空间之间的严重错位。本文通过最优误差指数分析理论量化了这种错位造成的损害。基于此洞察，我们提出三种可即插即用的显式对齐策略，无需修改网络架构即可集成到现有长尾学习方法中。在CIFAR-10-LT、CIFAR-100-LT和ImageNet-LT数据集上进行大量实验，结果一致地提升了各基线模型，实现了该领域的最新水平性能。
引用
@article{arxiv.2512.07844,
title = {Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning},
author = {Jinping Wang and Zhiqiang Gao and Zhiwu Xie},
journal= {arXiv preprint arXiv:2512.07844},
year = {2025}
}