BeST——一种用于迁移学习的新型源选择度量
机器学习
2025-01-22 v1 机器学习
摘要
迁移学习中最基本但探索相对较少的目标之一是：如何从大量预训练模型（针对各种“源”任务优化）中高效地选出在数据有限的“目标”任务上表现最佳的候选模型。在本文中，我们通过开发一种新颖的任务相似性度量 (BeST) 及其相关方法来实现这一目标，该方法在识别给定任务最可迁移的源模型方面表现出一致的良好性能。具体来说，我们的设计在分类任务的背景下采用了一种创新的量化级别优化程序，该程序可以产生源模型与给定目标数据之间的相似性度量。该程序使用类似于早停法（通常用于训练深度神经网络 (DNN) 以确保泛化）的概念来推导一个无需训练即可近似迁移学习映射的函数。我们度量的优势在于，它可以快速计算，以便在选定的源任务与目标任务之间实施计算密集型的迁移操作（通常使用 DNN）之前，识别出给定目标任务的最佳候选模型。因此，我们的度量可以为从大量可能源模型中进行选择的迁移学习节省大量计算资源。通过广泛的实验评估，我们证实了我们的度量在不同数据集和不同数据样本数量下均表现良好。
引用
@article{arxiv.2501.10933,
title = {BeST -- A Novel Source Selection Metric for Transfer Learning},
author = {Ashutosh Soni and Peizhong Ju and Atilla Eryilmaz and Ness B. Shroff},
journal= {arXiv preprint arXiv:2501.10933},
year = {2025}
}