累积链接模型中序数回归的神经崩塌：基于无约束特征模型的分析
机器学习
2025-11-05 v2 机器学习
摘要
在深度分类任务中，已近期引起广泛关注的一种现象称为“神经崩塌”（NC），即最终分类器和倒数第二层特征 exhibit 极其简单的几何结构，旨在加深我们对深度神经网络行为的理解。已提出无约束特征模型（UFM）来解释 NC，随后涌现出不少工作将 NC 扩展到分类之外的任务，并利用其进行实际应用。在本研究中，我们通过将累积链接模型用于序数回归（OR）与 UFM 结合，探讨了类似现象是否在深度序数回归任务中出现。我们表明，一种我们称为序数神经崩塌（ONC）的现象确实存在，其特征包括：（ONC1）所有最优特征在同一类别中折叠到其类内均值时，正则化会发生；（ONC2）这些类均值与分类器对齐，即它们折叠到一个一维子空间中；（ONC3）最优潜在变量（对应分类任务中的logits或预激活）按照类别顺序对齐，特别是，在零正则化极限下，在潜在变量与阈值值之间出现高度局部且简单的几何关系。我们在 UFM 框架中以固定阈值为前提，进行了解析证明，并在多种数据集上进行了实证检验。我们还讨论了如何利用这些见解来指导 OR，强调固定阈值的用途。
引用
@article{arxiv.2506.05801,
title = {Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model},
author = {Chuang Ma and Tomoyuki Obuchi and Toshiyuki Tanaka},
journal= {arXiv preprint arXiv:2506.05801},
year = {2025}
}
备注
To appear in NeurIPS 2025 (camera-ready). 48 pages