EVEDIT:具有演绎编辑边界的基于事件的知识编辑
计算与语言
2024-02-20 v1
摘要
现实世界信息的动态性质 necessitates 大语言模型 (LLMs) 中高效的知识编辑 (KE) 以进行知识更新。然而,当前的 KE 方法通常基于 (主体,关系,客体) 三元组进行操作,忽略了上下文信息和不同知识之间的关系。此类编辑方法因此可能遇到不确定的编辑边界,导致大量相关知识处于模糊状态:编辑前可以回答的查询在编辑后无法可靠回答。在本文中,我们通过引入一个 KE 理论框架来分析这一问题,该框架强调了一组在编辑过程中保持不变并辅助知识演绎的被忽视的知识,我们将其命名为“演绎锚点”(deduction anchor)。我们进一步通过提出一种新任务——基于事件的知识编辑来解决这一问题,该任务将事实与事件描述配对。该任务不仅更紧密地模拟了现实世界的编辑场景,而且提供了一个逻辑上更健全的设置,隐式定义了演绎锚点以解决编辑边界不确定的问题。我们在经验上证明了基于事件的编辑在解决编辑模型中的不确定性方面优于现有设置,并策划了一个源自 CounterFact 数据集的新基准数据集 EvEdit。此外,虽然我们观察到基于事件的设置对现有方法构成了显著挑战,但我们提出了一种新方法 Self-Edit,该方法展示了更强的性能,在保持生成自然性的同时实现了 55.6% 的一致性提升。
引用
@article{arxiv.2402.11324,
title = {EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries},
author = {Jiateng Liu and Pengfei Yu and Yuji Zhang and Sha Li and Zixuan Zhang and Heng Ji},
journal= {arXiv preprint arXiv:2402.11324},
year = {2024}
}