CLIPErase：CLIP 中视觉-文本关联的高效遗忘
计算机视觉与模式识别
2025-06-09 v2 人工智能
机器学习
摘要
机器遗忘（MU）作为一种无需完全重新训练即可从已训练模型中移除特定数据的方法，已获得广泛关注。虽然在文本和图像分类等单模态领域已取得进展，但多模态模型中的遗忘问题仍相对未被充分探索。在这项工作中，我们解决了在 CLIP（一种对齐视觉和文本表示的著名多模态模型）中进行遗忘的独特挑战。我们引入了 CLIPErase，这是一种新颖的方法，能够解耦并选择性地遗忘视觉和文本关联，确保遗忘过程不损害模型性能。CLIPErase 包含三个关键模块：一个遗忘模块，用于破坏遗忘集中的关联；一个保留模块，用于保持保留集上的性能；以及一个一致性模块，用于维持与原始模型的一致性。在 CIFAR-100 和 Flickr30K 数据集上，针对四个 CLIP 下游任务的大量实验表明，CLIPErase 能有效地遗忘多模态样本零样本任务中的指定关联，同时在遗忘后保持模型在保留集上的性能。
引用
@article{arxiv.2410.23330,
title = {CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP},
author = {Tianyu Yang and Lisen Dai and Xiangqi Wang and Minhao Cheng and Yapeng Tian and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2410.23330},
year = {2025}
}
备注
ACL main 2025