论神经崩塌在迁移学习中的作用
机器学习
2022-01-05 v2
摘要
我们研究基础模型学习可用于迁移到新的、未见过的类别的分类表征的能力。文献中近期结果表明，由单一分类器在多个类别上学习到的表征，在少样本学习问题上与专为此类问题设计的特殊算法学习到的表征具有竞争力。在本文中，我们基于近期观察到的现象——过参数化分类网络学习到的特征表现出一种称为神经崩塌（neural collapse）的有趣聚类特性——为这一行为提供解释。我们从理论和经验上证明，神经崩塌可泛化到训练类别的新样本，且——更重要的是——也可泛化到新类别，从而使基础模型能够提供在迁移学习中、特别是在少样本设定下表现良好的特征映射。
引用
@article{arxiv.2112.15121,
title = {On the Role of Neural Collapse in Transfer Learning},
author = {Tomer Galanti and András György and Marcus Hutter},
journal= {arXiv preprint arXiv:2112.15121},
year = {2022}
}