大规模基于记忆的模型编辑

即便是最庞大的神经网络也会犯错，且曾经正确的预测可能随着世界变化而失效。模型编辑器对基础（预训练）模型的行为进行局部更新，以注入更新后的知识或纠正不良行为。现有模型编辑器已展现出前景，但也存在表达能力不足的问题：它们难以准确刻画编辑的预期作用范围（受编辑影响的样本），导致对与编辑松散相关的测试输入给出不准确的预测，并且在多次编辑后往往彻底失效。作为更高容量的替代方案，我们提出基于检索增强反事实模型的半参数化编辑（SERAC），其将编辑存储在显式记忆中，并学习对其推理以按需调节基础模型的预测。为支持对模型编辑器更严格的评估，我们引入了三个基于问答、事实核查和对话生成的具有挑战性的语言模型编辑问题。我们发现只有 SERAC 在所有三个问题上都取得了高性能，并以显著优势持续优于现有的模型编辑方法。代码、数据与额外项目信息将发布于 https://sites.google.com/view/serac-editing。