DUSK：不要忘记共享知识

大型语言模型（LLM）越来越被部署在实际应用中，引发对未经授权使用受版权保护或敏感数据的问题担忧。机器遗忘旨在删除这些 '忘记' 数据，同时保留 '保留' 集合中的实用性和信息。然而，现有的评估通常假设忘记集和保留集完全不相交，忽略了现实场景中存在的重叠内容。例如，新闻文章可能需要被遗忘，尽管同一事件（如日本地震）也以事实形式出现在维基百科上。有效的遗忘应删除新闻文章的特定措辞，同时保留公开支持的事实。在本文中，我们提出 DUSK，一个旨在评估现实数据重叠情况下的遗忘方法的基准。DUSK 构建描述相同事实内容但风格不同的文档集，其中一些共享信息出现在所有文档集中，而其他内容仅限于每个文档集。当一个文档集被指定为遗忘对象时，理想的方法应删除其唯一内容，同时保留共享事实。我们定义了七个评估指标来衡量遗忘方法能否实现这种选择性删除。我们对九个近期遗忘方法的评估揭示了关键局限性：虽然大多数方法可以删除表层文本，但往往无法在不损害共享内容的前提下擦除更深层、情境特定的知识。我们将 DUSK 作为公开基准发布，以支持开发更精确和可靠的遗忘技术，以适应实际应用。