基于机制电路的LLM知识编辑方法
计算与语言
2026-04-08 v1
摘要
在真实世界动态环境中部署大语言模型（LLM）带来了更新其预训练知识的挑战。虽然现有的知识编辑方法可以可靠地修补孤立事实，但它们经常遭受"推理鸿沟"（Reasoning Gap），即模型回忆起编辑后的事实但未能在多步推理链中利用它。为了弥合这一鸿沟，我们引入了MCircKE（\underline{M}echanistic \underline{Circ}uit-based \underline{K}nowledge \underline{E}diting），一种使精确的"映射与适配"编辑过程成为可能的新框架。MCircKE首先识别负责特定推理任务的因果电路，同时捕捉事实的存储及其逻辑后果的路由。然后它仅在该映射电路内手术式地更新参数。在MQuAKE-3K基准上的广泛实验证明了该方法在知识编辑中多步推理的有效性。
引用
@article{arxiv.2604.05876,
title = {Mechanistic Circuit-Based Knowledge Editing in Large Language Models},
author = {Tianyi Zhao and Yinhan He and Wendy Zheng and Chen Chen},
journal= {arXiv preprint arXiv:2604.05876},
year = {2026}
}