在不平衡学习中诱导神经崩塌：我们真的需要深度神经网络末端的可学习分类器吗？
机器学习
2022-10-13 v3 计算机视觉与模式识别
摘要
现代深度神经网络用于分类时通常联合学习用于表征的主干网络与输出各类别 logit 的线性分类器。近期一项研究揭示了称为神经崩塌的现象：在平衡数据集训练末期，特征的类内均值与分类器向量收敛到单纯形等角紧框架（ETF）的顶点。由于 ETF 几何结构最大化分离了分类器中所有类别的成对角度，自然引出问题：既然已知分类器的最优几何结构，为何还要费力学习它？本文中，我们研究以随机初始化为 ETF 并在训练中固定的分类器来学习分类神经网络的可能性。我们基于层剥离模型的分析工作表明，即便数据集在各类间不平衡，带固定 ETF 分类器的特征学习也会自然导向神经崩塌状态。我们进一步表明，此情形下交叉熵（CE）损失并非必要，可被简单的平方损失替代，其共享相同全局最优性且具备更好的收敛性质。实验结果表明，我们的方法能在多个不平衡数据集上以更快收敛带来显著提升。
引用
@article{arxiv.2203.09081,
title = {Inducing Neural Collapse in Imbalanced Learning: Do We Really Need a Learnable Classifier at the End of Deep Neural Network?},
author = {Yibo Yang and Shixiang Chen and Xiangtai Li and Liang Xie and Zhouchen Lin and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.09081},
year = {2022}
}
备注
NeurIPS 2022