一以贯之：一种面向视觉基础模型的少数据通用迁移框架
计算机视觉与模式识别
2021-11-25 v1
摘要
基础模型并非模型生产流程的最终章。以通用方式利用少量数据迁移到数千个下游任务，正成为基础模型应用的趋势。在本文中，我们提出了一种通用迁移框架：One to Transfer All（OTA），旨在利用少量下游数据将任何视觉基础模型（VFM）迁移到任何下游任务。我们首先通过图像重表示微调（IRF）将VFM迁移到任务特定模型，然后利用下游图像引导生成（DIGG）产生的数据，将知识从任务特定模型蒸馏到部署模型。OTA在迁移时不依赖于上游数据、VFM和下游任务。它还为VFM研究人员提供了一种方式，使其能够发布上游信息以实现更好的迁移，同时因隐私要求而不泄露数据。大量实验验证了我们的方法在少数据设置下的有效性和优越性。我们的代码将开源。
引用
@article{arxiv.2111.12386,
title = {One to Transfer All: A Universal Transfer Framework for Vision Foundation Model with Few Data},
author = {Yujie Wang and Junqin Huang and Mengya Gao and Yichao Wu and Zhenfei Yin and Ding Liang and Junjie Yan},
journal= {arXiv preprint arXiv:2111.12386},
year = {2021}
}
备注
Technical Report