多标签学习中基于pick-all-label损失函数的神经崩溃现象
机器学习
2024-06-21 v4
摘要
我们通过神经崩溃（NC）的视角研究深度神经网络在多标签分类（MLab）任务上的表现。先前工作局限于多类分类设定，并发现了一种普遍的NC现象，包含最后一层特征的如下性质：（i）每类内特征的变异性坍缩至零，（ii）特征均值集合构成等角紧框架（ETF），（iii）最后一层分类器在某种缩放下坍缩至特征均值。我们将研究推广至多标签学习，并首次证明在“pick-all-label”表述下成立一种广义NC现象，我们称之为MLab NC。尽管具单标签特征的ETF几何结构保持一致，多标签场景引入了我们称为“标签均值平均”属性的独特组合方面，即多标签特征的均值是单标签实例均值的缩放平均。理论上，在对特征适当假设下，我们确立pick-all-label交叉熵损失的唯一全局优化器满足多标签NC。实践中，我们展示了我们的发现可借助更高效的训练技术为MLab学习带来更好的测试性能。
引用
@article{arxiv.2310.15903,
title = {Neural Collapse in Multi-label Learning with Pick-all-label Loss},
author = {Pengyu Li and Xiao Li and Yutong Wang and Qing Qu},
journal= {arXiv preprint arXiv:2310.15903},
year = {2024}
}