释放神经崩溃在可迁移性估计中的威力
机器学习
2023-10-10 v1 计算机视觉与模式识别
摘要
可迁移性估计旨在提供启发式方法以量化预训练模型对特定下游任务的适配程度，而无需对所有模型进行微调。已有研究表明，训练良好的模型会呈现神经崩溃现象。基于现有文献中广泛使用的神经崩溃度量，我们观察到预训练模型的神经崩溃与其对应微调模型之间存在强相关性。受此观察启发，我们提出一种称为公平崩溃（FaCe）的新方法，通过全面度量预训练模型中神经崩溃的程度来进行可迁移性估计。通常，FaCe 包含两个不同的项：方差崩溃项，用于评估类间分离与类内紧致性；以及类公平项，用于量化预训练模型对各类的公平性。我们在不同网络架构、源数据集与训练损失函数的多种预训练分类模型上考察 FaCe。结果表明，FaCe 在图像分类、语义分割与文本分类等不同任务上均取得最先进（SOTA）性能，证明了方法的有效性与泛化能力。
引用
@article{arxiv.2310.05754,
title = {Unleashing the power of Neural Collapse for Transferability Estimation},
author = {Yuhe Ding and Bo Jiang and Lijun Sheng and Aihua Zheng and Jian Liang},
journal= {arXiv preprint arXiv:2310.05754},
year = {2023}
}