面向多模态机器遗忘的 MultiDelete 方法

机器遗忘从已训练模型中移除关于训练数据样本的特定知识。它具有显著的实用价值，例如无需完全重新训练即可从训练模型中清除私有、不准确或过期的信息。多模态场景下的遗忘因不同数据模态间复杂依赖关系以及在大规模多模态数据集与架构上训练的昂贵代价而面临独特挑战。本文提出首个面向多模态数据与模型的机器遗忘方法，称为 MultiDelete，其旨在解耦单模态数据点间的关联以实现遗忘，同时不损失训练模型的整体表征能力。MultiDelete 倡导有效多模态遗忘的三个关键特性：（a）模态解耦，有效解耦标记为删除的各个单模态数据点间的关联，使其变为不相关数据点；（b）多模态知识保留，在遗忘后保留多模态表征；（c）单模态知识保留，在遗忘后保留单模态表征。MultiDelete 训练高效，且不受使用强凸损失这一常见基线限制约束。在两种架构与四个数据集（包括图像-文本和图-文本数据集）上的实验表明，MultiDelete 在遗忘多模态样本上比最佳基线平均提升 17.6 分，能在遗忘后保持原模型的多模态与单模态知识，并能对遗忘数据提供更好的对抗攻击防护。