基于零空间约束的对比式视觉遗忘：用于 MLLM 非遗忘

机器非遗忘的核心挑战在于在目标知识删除与非目标知识保留之间取得平衡。在多模态大语言模型 (MLLMs) 的语境中，这一挑战更为突出，因为知识进一步划分为紧密交织的视觉模态与文本模态。本文引入一种 MLLM 非遗忘方法，旨在忘却目标视觉知识，同时保留非目标视觉知识及所有文本知识。具体而言，我们冻结 LLM 主干网络，通过微调视觉模块实现非遗忘。首先，我们提出了对比式视觉遗忘 (Contrastive Visual Forgetting, CVF) 机制，以分离目标视觉知识与保留视觉知识，引导目标视觉概念的表征导向特征空间中的合适区域。其次，我们识别与保留知识相关的零空间，并约束非遗忘过程位于该空间内，从而显著缓解知识保留性能的退化。第三，除静态非遗忘场景外，我们将方法扩展至持续非遗忘，即忘却请求按顺序到达。广泛的实验在多样化基准上表明，我们的方法在有效遗忘与稳健知识保留之间实现了强大的平衡。