面向微调模型选择的线性化框架与新基准
计算机视觉与模式识别
2021-02-02 v1 机器学习
摘要
从在不同领域上预训练的一组模型（“模型动物园”）中进行微调，正作为一种在低数据条件下提高测试精度的技术而出现。然而，模型选择，即如何在不进行任何训练的情况下从模型动物园中预选正确的模型进行微调，仍然是一个开放课题。我们使用线性化框架来近似微调，并引入了两个用于模型选择的新基线——标签-梯度与标签-特征相关性。由于文献中的所有模型选择算法都在不同用例上进行了测试且从未被直接比较，我们引入了一个用于模型选择的综合新基准，包括：i) 单领域与多领域模型的模型动物园，以及 ii) 许多目标任务。我们的基准凸显了相较于微调 ImageNet 模型，使用模型动物园带来的精度提升。我们表明，我们的模型选择基线能在少量选择内选出最优微调模型，并且与现有算法相比，对微调精度具有最高的排序相关性。
引用
@article{arxiv.2102.00084,
title = {A linearized framework and a new benchmark for model selection for fine-tuning},
author = {Aditya Deshpande and Alessandro Achille and Avinash Ravichandran and Hao Li and Luca Zancato and Charless Fowlkes and Rahul Bhotika and Stefano Soatto and Pietro Perona},
journal= {arXiv preprint arXiv:2102.00084},
year = {2021}
}
备注
14 pages