历史至关重要：大型语言模型中的时序知识编辑

修改或更新大型语言模型中存储的知识这一关键任务源于两个不同的来源：模型固有的内在错误（应予以纠正）以及由于现实世界外部变化导致的过时知识（应予以更新）。目前模型编辑的工作将这两种源于不同原因的不同类别的编辑混为一谈，并直接将模型中的原始知识修改为新知识。然而，我们认为保留模型的原始知识仍然是相关的。具体而言，如果模型的知识由于世界动态的演变而过时，它应该在整合新发现的知识的同时保留对历史知识的记忆。在这项工作中，我们引入了时序知识编辑任务，并建立了一个基准 AToKe（时序知识编辑评估）来评估当前的模型编辑方法。我们发现，虽然现有的模型编辑方法在使模型记住新知识方面很有效，但编辑后的模型会灾难性地遗忘历史知识。为了弥补这一差距，我们提出了一个简单且通用的框架，称为具有时间目标的多重编辑，用于增强现有的编辑模型，该框架同时编辑历史知识和新知识，并优化模型对每个事实发生时间的预测。我们的评估表明，虽然 AToKe 仍然很困难，但 METO 保持了学习新知识的有效性，同时大幅提高了编辑模型在利用历史知识方面的性能。