DeepEdit：将知识编辑视为带约束的解码
计算与语言
2024-11-12 v5 人工智能
摘要
如何编辑多步推理中的知识已成为大型语言模型（LLMs）知识编辑（KE）的主要挑战。该困难源于 LLMs 在多步推理过程中的幻觉往往导致对新知识的错误使用和错误答案。为解决此问题，我们设计了解码约束以“规范”LLMs 的推理，增强融入新知识时的逻辑连贯性。我们提出了一种新的 KE 框架：DEEPEDIT（基于深度优先搜索的受限解码知识编辑，Depth-first Search-based Constrained Decoding for Knowledge Editing），它通过深度优先搜索增强了 LLMs 利用新知识生成连贯推理链的能力。我们的搜索选择满足约束的最重要知识作为推理步骤，以高效增加推理深度。除 DEEPEDIT 外，我们还提出了两个新的 KE 基准：MQUAKE-2002 和 MQUAKE-HARD，为 KE 方法提供了更精确、更具挑战性的评估。定性上，DEEPEDIT 使 LLMs 能够产生包含新知识的简洁连贯的推理链。定量上，它在多个 KE 基准上取得了显著提升。
引用
@article{arxiv.2401.10471,
title = {DeepEdit: Knowledge Editing as Decoding with Constraints},
author = {Yiwei Wang and Muhao Chen and Nanyun Peng and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2401.10471},
year = {2024}
}