通过谱成分分布评估预训练模型在迁移学习中的表现
机器学习
2025-03-07 v2
摘要
预训练模型评估旨在从模型库中识别用于下游任务的最佳候选模型，而无需进行耗时的微调。现有的先进方法主要关注分析每种预训练模型提取特征的内在特性，或这些特征与目标标签的匹配程度。本文提出了一种新的视角，通过特征提取的谱成分分布（Distribution of Spectral Components, DISCO）来评估预训练模型。通过对从预训练模型中提取的特征进行奇异值分解，我们研究了不同的谱成分并发现，它们具有不同的可迁移性，对微调性能贡献各不相同。灵感来自于此，我们提出了一种基于谱成分分布的评估方法，该方法衡量其对应奇异值的比例。具有特征集中于更多可迁移成分的预训练模型被视为迁移学习的更好选择。我们进一步利用下游数据的标签来更好地估计每个谱成分的可迁移性，并得出最终的评估准则。我们提出的方法灵活且可应用于分类和回归任务。我们在三个基准数据集和两个任务（包括图像分类和目标检测）上进行了全面实验，表明该方法在从模型库中为迁移学习选择合适的预训练模型方面实现了最佳性能。
引用
@article{arxiv.2412.19085,
title = {Assessing Pre-Trained Models for Transfer Learning Through Distribution of Spectral Components},
author = {Tengxue Zhang and Yang Shu and Xinyang Chen and Yifei Long and Chenjuan Guo and Bin Yang},
journal= {arXiv preprint arXiv:2412.19085},
year = {2025}
}
备注
Accepted by AAAI 2025