事件级知识编辑

知识编辑旨在更新大语言模型（LLMs）的知识以防止其过时。现有工作主要在事实知识三元组层面编辑 LLMs。然而，现实世界中的自然知识更新源于新事件的发生，而非事实三元组的直接变化。在本文中，我们提出了一种新的任务设定：事件级知识编辑，即直接将新事件编辑进 LLMs，并在以下方面优于传统的三元组级编辑：(1) 效率。单次事件编辑可导致多个蕴含知识三元组的更新。(2) 完整性。除了更新事实知识外，事件级编辑还需要考虑事件影响并更新 LLMs 关于未来趋势的知识。我们构建了一个高质量的事件级编辑基准 ELKEN，包含 1,515 个事件编辑、6,449 个关于事实知识的问题以及 10,150 个关于未来趋势的问题。我们在该基准上系统评估了各种知识编辑方法和 LLMs 的性能。我们发现 ELKEN 对现有的知识编辑方法构成了重大挑战。我们的代码和数据集已公开释放，以促进进一步研究。