哪些概念值得遗忘？——面向大型视觉语言模型的概念分解式持续不可遗忘

持续不可遗忘面临的挑战在于，使大型视觉语言模型能够对序列化删除请求作出选择性拒绝特定图像-指令对的响应，同时保持一般实用性。然而，顺序不可遗忘更新会扭曲共享表征，导致视觉-语言对与不可遗忘行为之间出现虚假关联，阻碍精确识别不可遗忘目标，导致不恰当的不可遗忘。为此，我们提出一种新型持续不可遗忘框架，通过分解来自删除目标的视觉和文本概念的细粒度描述来支撑不可遗忘行为。我们首先通过概念调制器识别哪些视觉-语言概念组合特征于每个遗忘类别，然后通过一组专门用于概念对齐不可遗忘生成的 refusers 来确定如何生成恰当的不可遗忘响应。为在序列任务中生成概念特定的不可遗忘响应，我们引入一种多模态、概念驱动的路由方案，在共享类似概念的任务中复用 refusers，对用于新概念的 underutilized refusers 进行适应。广泛的实验在视觉-语言基准测试上表明，所提框架优于现有方法，能够生成概念支撑的不可遗忘响应，并在不可遗忘序列中保持一般实用性。