敏于间隙：基于 CLIP 的持续学习中的模态间隙保留与补偿
计算机视觉与模式识别
2025-07-15 v1 机器学习
摘要
持续学习旨在使模型能够从连续输入的数据中顺序学习，同时保持对以前学习任务的性能。随着对比语言-图像预训练模型（CLIP）在各种下游任务中显示出强大的能力，越来越多的人关注利用 CLIP 进行此类场景下的持续学习。大多数现有工作忽略了 CLIP 中固有的模态间隙，这是其泛化和适应性的关键因素。本文分析了在微调视觉-语言预训练模型期间模态间隙的变化。我们的观察表明，模态间隙有效反映了预训练知识被保留的程度。基于这些见解，我们提出一种简单而有效的方法，MG-CLIP，提高了 CLIP 在类别递增学习中的性能。我们的做法利用模态间隙保留来缓解遗忘，利用模态间隙补偿来增强对新数据的容量，引入了持续学习的新视角。大量实验表明，该方法在多个基准测试上超越了现有方法，且无需额外的回放数据。我们的代码可在 https://github.com/linlany/MindtheGap 查阅。
引用
@article{arxiv.2507.09118,
title = {Mind the Gap: Preserving and Compensating for the Modality Gap in CLIP-Based Continual Learning},
author = {Linlan Huang and Xusheng Cao and Haori Lu and Yifan Meng and Fei Yang and Xialei Liu},
journal= {arXiv preprint arXiv:2507.09118},
year = {2025}
}
备注
Accepted at ICCV 2025