CURaTE：确保 LLM 知识保存的实时持续遗忘

大语言模型在训练中无法预先过滤所有可能有问题的数据，导致需要方法在训练后遗忘特定知识。现有技术忽视了持续和即时行动的需求，导致其在累积更新时效用下降并暴露敏感信息。为此，我们提出了 Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge（CURaTE）。我们的方法首先在旨在启用对给定输入提示是否对应任何存储的遗忘请求的尖锐决策边界形成方面进行训练的句子嵌入模型。随后利用给定输入与遗忘请求的相似性来确定是作答还是返回拒绝响应。我们表明，即使采用这种简单的方法，CURaTE 不仅实现了比现有方法更有效的遗忘，而且通过避免修改语言模型参数，还能在任意数量的更新中保持近乎完美的知识保存，是唯一能够实现实时持续遗忘的方法。