面向上下文知识编辑的推理与知识注入解耦
计算与语言
2025-06-03 v1 人工智能
摘要
知识编辑旨在通过修改特定知识来高效更新大型语言模型（LLMs），而无需重新训练整个模型。在知识编辑方法中，上下文编辑（ICE）通过将新知识直接注入输入上下文来提供一种轻量级解决方案，保持模型参数不变。然而，现有的 ICE 方法并未将新注入的知识与模型原有的推理过程显式分离。这种纠缠常导致外部更新与内部参数化知识之间产生冲突，破坏推理路径的一致性和准确性。在本工作中，我们进行了初步实验以检验参数化知识如何影响推理路径规划。我们发现模型的推理与其内部知识紧密耦合，在不调整推理路径的情况下直接注入新信息常导致性能下降，在多跳任务中尤为明显。为此，我们提出 DecKER，一种新颖的 ICE 框架，通过生成掩码推理路径，随后通过混合检索和基于模型的验证来解决知识编辑，从而将推理与知识编辑解耦。在多跳问答基准上的实验表明，DecKER 通过缓解知识冲突并保持推理一致性，显著优于现有的 ICE 方法。我们的代码可在：https://github.com/bebr2/DecKER 获取。
引用
@article{arxiv.2506.00536,
title = {Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing},
author = {Changyue Wang and Weihang Su and Qingyao Ai and Yujia Zhou and Yiqun Liu},
journal= {arXiv preprint arXiv:2506.00536},
year = {2025}
}