正交棱锥体范式下的神经崩解
机器学习
2026-03-24 v1 信息论
math.IT
度量几何
摘要
在进行分类训练时，已知训练集的特征向量会趋于正规单纯形的顶点，前提是特征空间维数 d 与类别数 n 满足 n ≤ d+1。这种现象称为神经崩解。对于其他应用如语言模型，通常取 n ≫ d。此时，神经崩解现象仍会发生，但呈现不同的新生几何图形。我们在 d+2 ≤ n ≤ 2d 的正交棱锥体范式下，对这些几何图形进行特征化描述。我们的分析主要涉及拉登定理与凸性。
引用
@article{arxiv.2603.20587,
title = {Neural collapse in the orthoplex regime},
author = {James Alcala and Rayna Andreeva and Vladimir A. Kobzar and Dustin G. Mixon and Sanghoon Na and Shashank Sule and Yangxinyu Xie},
journal= {arXiv preprint arXiv:2603.20587},
year = {2026}
}