个性化预训练模型
计算机视觉与模式识别
2021-06-04 v1
摘要
在大规模数据集上自监督或弱监督训练的模型已在少样本设定下展现出对多样化数据集的高效迁移能力。我们研究了如何利用上游预训练模型应对下游少样本、多标签与持续学习任务。我们的模型 CLIPPER（CLIP PERsonalized）使用来自 CLIP 的图像表示，CLIP 是一个利用弱自然语言监督训练的大规模图像表示学习模型。我们提出了一种称为多标签权重印记（Multi-label Weight Imprinting, MWI）的技术，用于多标签、持续与少样本学习，CLIPPER 将 MWI 与 CLIP 的图像表示结合使用。我们在 10 个单标签和 5 个多标签数据集上评估了 CLIPPER。我们的模型表现出稳健且具竞争力的性能，并为少样本、多标签与持续学习设定了新的基准。我们的轻量级技术还具有计算高效性，并支持隐私保护应用，因为数据不会发送至上游模型进行微调。
引用
@article{arxiv.2106.01499,
title = {Personalizing Pre-trained Models},
author = {Mina Khan and P Srivatsa and Advait Rane and Shriram Chenniappa and Asadali Hazariwala and Pattie Maes},
journal= {arXiv preprint arXiv:2106.01499},
year = {2021}
}