大语言模型上知识编辑的邻近扰动
计算与语言
2024-05-28 v2
摘要
尽管大语言模型（LLM）具有卓越的能力，但由于错误或过时的知识，它们容易生成非预期文本。鉴于重新训练 LLM 的资源密集性，知识编辑的开发显著增加。然而，当前的方法和评估很少探讨编辑对邻近知识的扰动。本文研究向 LLM 更新新知识是否会扰动其中封装的邻近知识。具体而言，我们试图弄清，将一个新答案添加到某个事实性问题的答案列表中，是否会导致该列表中原始正确答案的灾难性遗忘，以及非预期地包含错误答案。我们引入了可加性指标，并构建了一个名为追加知识扰动评估（PEAK）的基准，用于评估追加新知识时对邻近知识的扰动程度。此外，我们提出了一种名为通过保留与预防进行追加（APP）的即插即用框架，通过维护答案列表的完整性来缓解邻近扰动。实验证明了 APP 与四种编辑方法结合在四个 LLM 上的有效性。代码和数据可在 https://github.com/mjy1111/PEAK 获取。
引用
@article{arxiv.2401.17623,
title = {Neighboring Perturbations of Knowledge Editing on Large Language Models},
author = {Jun-Yu Ma and Zhen-Hua Ling and Ningyu Zhang and Jia-Chen Gu},
journal= {arXiv preprint arXiv:2401.17623},
year = {2024}
}
备注
Accepted by ICML 2024