CLIP 模型是一种高效的持续学习器
计算机视觉与模式识别
2022-10-07 v1
摘要
持续学习设定旨在随时间学习新任务而不遗忘先前的任务。文献报道了若干在有限或无法访问先前任务数据情况下解决该问题的重大努力。在此类努力中,典型解决方案提供涉及记忆回放、知识蒸馏、模型正则化和动态网络扩展的复杂技术。所得方法在每个学习任务具有重训练成本、专用的内存需求以及特定于设定的设计选择。在本工作中,我们展示冻结的 CLIP(Contrastive Language-Image Pretraining,对比语言-图像预训练)模型无需任何微调(零样本评估)即可提供惊人的持续学习性能。我们在包括类增量、域增量和任务不可知增量学习在内的多种设定下,在五个流行基准(ImageNet-100 与 1K、CORe50、CIFAR-100 和 TinyImageNet)上评估 CLIP。无需任何额外技巧,CLIP 模型在多数设定下优于最先进的持续学习方法。我们展示了通过简单提示模板改变文本输入对 CLIP 模型性能的影响。据我们所知,这是首篇报道 CLIP 在持续设定下零样本性能的工作。我们主张在未来的持续学习任务比较中使用这一强大却极其简单的基线。
引用
@article{arxiv.2210.03114,
title = {CLIP model is an Efficient Continual Learner},
author = {Vishal Thengane and Salman Khan and Munawar Hayat and Fahad Khan},
journal= {arXiv preprint arXiv:2210.03114},
year = {2022}
}