组建获胜团队：基于子模可迁移性估计方法选择源模型集成
计算机视觉与模式识别
2023-09-06 v1 人工智能
机器学习
摘要
估计公开可用的预训练模型对目标任务的可迁移性，近年来在迁移学习任务中占据了重要位置。现有工作提出的度量标准允许用户从预训练模型池中选择一个模型，而无需单独微调每个模型并显式确定一个。随着可用预训练模型数量的增长以及模型集成的流行，研究多源模型对给定目标任务的可迁移性也变得至关重要。少数现有工作仅利用分类层的输出在这种多源集成设定中研究可迁移性，忽视了可能的领域或任务不匹配。此外，它们在选择源模型时忽略了最重要的因素，即它们之间的凝聚因子，这会影响集成的预测性能和置信度。为弥补这些不足，我们提出了一种新颖的基于最优传输的子模可迁移性度量（OSBORN）来估计模型集成对下游任务的可迁移性。OSBORN 综合考虑图像域差异、任务差异以及集成中模型的凝聚性，以提供可靠的可迁移性估计。我们在图像分类和语义分割任务上衡量 OSBORN 的性能。我们的设定包括 28 个源数据集、11 个目标数据集、5 种模型架构和 2 种预训练方法。我们将我们的方法与当前最先进的度量 MS-LEEP 和 E-LEEP 进行基准比较，并使用所提方法持续优于它们。
引用
@article{arxiv.2309.02429,
title = {Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach},
author = {Vimal K B and Saketh Bachu and Tanmay Garg and Niveditha Lakshmi Narasimhan and Raghavan Konuru and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2309.02429},
year = {2023}
}
备注
To appear at ICCV 2023