通过权重插值修补开放词汇模型
计算机视觉与模式识别
2022-10-13 v2 机器学习
摘要
像 CLIP 这样的开放词汇模型在许多图像分类任务上实现了高准确率。然而，仍有一些设定下其零样本性能远未达最优。我们研究模型修补，其目标是在不降低已有足够性能任务准确率的前提下，提升特定任务上的准确率。为此，我们引入 PAINT，一种修补方法，它使用待修补任务上微调前模型权重与微调后模型权重之间的插值。在九个零样本 CLIP 表现糟糕的任务上，PAINT 将准确率提高了 15 到 60 个百分点，同时将 ImageNet 上的准确率保持在零样本模型的一个百分点以内。PAINT 还允许对单个模型在多个任务上修补，并随模型规模增大而提升。此外，我们识别出广泛迁移的情况，即在一个任务上修补可提高其他即便类别不相交任务的准确率。最后，我们探究了常见基准之外的应用，如计数或降低排版攻击对 CLIP 的影响。我们的发现表明，无需从头重新训练，即可扩展开放词汇模型实现高准确率的任务集合。
引用
@article{arxiv.2208.05592,
title = {Patching open-vocabulary models by interpolating weights},
author = {Gabriel Ilharco and Mitchell Wortsman and Samir Yitzhak Gadre and Shuran Song and Hannaneh Hajishirzi and Simon Kornblith and Ali Farhadi and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2208.05592},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)