迁移哪个模型？在日益增长的海量模型中寻针
机器学习
2022-03-28 v2 计算机视觉与模式识别
摘要
迁移学习近来作为从零训练模型的 data-efficient 替代方案而普及，尤其在计算机视觉任务中提供了极为稳固的基线。丰富模型仓库（如 TensorFlow Hub）的出现使从业者和研究者能在广泛下游任务中释放这些模型的潜力。随着这些仓库呈指数增长，高效地为手头任务选定良好模型变得至关重要。我们通过熟悉的 regret 概念对该问题形式化，并介绍主要策略：任务无关（如按 ImageNet 性能对模型排序）与任务感知搜索策略（如线性或 kNN 评估）。我们进行大规模实证研究，表明任务无关与任务感知方法均可能产生高 regret。随后我们提出一种简单且计算高效的混合搜索策略，其优于现有方法。我们在一组 19 个多样视觉任务上凸显了所提方案的实用益处。
引用
@article{arxiv.2010.06402,
title = {Which Model to Transfer? Finding the Needle in the Growing Haystack},
author = {Cedric Renggli and André Susano Pinto and Luka Rimanic and Joan Puigcerver and Carlos Riquelme and Ce Zhang and Mario Lucic},
journal= {arXiv preprint arXiv:2010.06402},
year = {2022}
}