擦除 CLIP 记忆:基于数据无关的 CLIP 模型非破坏性零样文类遗忘
计算机视觉与模式识别
2025-12-17 v1
摘要
我们提出一种新颖的闭式方法,用于多模态模型(特别是针对预训练模型如 CLIP)的选择性遗忘。该方法利用零空间投影擦除最终投影层中嵌入的目标类信息,无需进行任何重新训练或使用遗忘集合中的图像。通过计算由目标文本嵌入张成的子空间的正交基,并对这些方向进行投影,我们显著降低了图像特征与不希望出现的类别之间的对齐度。不同于依赖迭代微调和广泛数据整理的传统遗忘技术,我们的方法既高效又精准。这导致目标类别的零样性能力显著下降,同时保留模型的整体多模态知识。我们的实验表明,即使进行部分投影,也能在完全遗忘和保留有用信息之间取得平衡,解决了模型去污和隐私保护的关键挑战。
引用
@article{arxiv.2512.14137,
title = {Erasing CLIP Memories: Non-Destructive, Data-Free Zero-Shot class Unlearning in CLIP Models},
author = {Ashish Mishra and Tarun Kumar and Gyanaranjan Nayak and Arpit Shah and Suparna Bhattacharya and Martin Foltin},
journal= {arXiv preprint arXiv:2512.14137},
year = {2025}
}