CLIP 模型中图像子群的定向遗忘
计算机视觉与模式识别
2025-06-04 v1
摘要
如 CLIP 等基础模型（FMs）通过利用大规模无监督预训练，在各种任务上展示了令人印象深刻的零样本性能。然而，它们通常从噪声互联网来源数据集中继承了有害或不需要的知识，从而损害了在实际应用中的可靠性。现有的模型遗忘方法要么依赖对预训练数据的访问，要么聚焦于粗粒度遗忘（例如整个类别），为细粒度遗忘留下了关键空白。在本文中，我们解决了在不访问预训练数据的情况下选择性遗忘类别内特定知识片段的挑战场景，同时保持模型的整体性能。我们提出了一种新颖的三阶段方法，逐步遗忘定向知识同时缓解过度遗忘。它包括（1）一个遗忘阶段，对要遗忘的样本微调 CLIP；（2）一个提醒阶段，恢复保留样本上的性能；以及（3）一个恢复阶段，通过模型融合（model souping）恢复零样本能力。此外，我们引入知识蒸馏来处理遗忘样本、保留样本和未见过的预训练数据之间的分布差异。在 CIFAR-10、ImageNet-1K 和风格数据集上的大量实验表明，我们的方法有效遗忘特定子群，同时保持对语义相似子群和其他类别的强零样本性能，显著优于基线遗忘方法，后者在 CLIP 遗忘设置下会失效。
引用
@article{arxiv.2506.03117,
title = {Targeted Forgetting of Image Subgroups in CLIP Models},
author = {Zeliang Zhang and Gaowen Liu and Charles Fleming and Ramana Rao Kompella and Chenliang Xu},
journal= {arXiv preprint arXiv:2506.03117},
year = {2025}
}
备注
12 Figures,5 Pages. The project page is \url{https://zhangaipi.github.io/forget_clip/}