幸存的男孩：从 LLM 中移除 Harry Potter 比报道的更困难

Adam Shostack

幸存的男孩：从 LLM 中移除 Harry Potter 比报道的更困难

计算与语言 2024-03-20 v1 人工智能机器学习

作者: Adam Shostack

摘要

近期的工作 arXiv.2310.02238 声称“我们有效地抹除了模型生成或回忆 Harry Potter 相关内容的能力”。这一声明被证明是过于宽泛的。一个不到十二次试验的小型实验导致了对 Harry Potter 的重复且具体的提及，包括“啊，我明白了！‘muggle’是 Terry Pratchett 所著的 Harry Potter 系列丛书中使用的一个术语……”

关键词

大型语言模型机器遗忘 Harry Potter 模型抹除知识移除

引用

@article{arxiv.2403.12082,
  title  = {The Boy Who Survived: Removing Harry Potter from an LLM is harder than reported},
  author = {Adam Shostack},
  journal= {arXiv preprint arXiv:2403.12082},
  year   = {2024}
}

备注

2 pages, 4 pages of appendix. Comment on arXiv:2310.02238

相关论文

查看更多相关论文 →