面向大量类别的广义神经坍缩
机器学习
2023-10-30 v3 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
神经坍缩对深度分类模型中学习到的最后一层表示（即特征）与分类器权重给出了优美的数学刻画。此类结果不仅提供洞见，也启发了改进实用深度模型的新技术。然而，现有关于神经坍缩的实证与理论研究大多聚焦于类别数相对于特征空间维度较小的情形。本文将神经坍缩扩展至类别数远大于特征空间维度的情形，这在语言模型、检索系统与人脸识别应用中广泛出现。我们表明特征与分类器呈现出一种广义神经坍缩现象，其中最小的一对多间隔（one-vs-rest margin）被最大化。我们提供了实证研究以验证实用深度神经网络中广义神经坍缩的发生。此外，我们在特定关于特征维度与类别数的技术条件下，从理论层面证明广义神经坍缩在无约束特征模型加球面约束下必然发生。
引用
@article{arxiv.2310.05351,
title = {Generalized Neural Collapse for a Large Number of Classes},
author = {Jiachen Jiang and Jinxin Zhou and Peng Wang and Qing Qu and Dustin Mixon and Chong You and Zhihui Zhu},
journal= {arXiv preprint arXiv:2310.05351},
year = {2023}
}
备注
32 pages, 12 figures