CaKE：电路感知编辑赋能可泛化的知识学习者
计算与语言
2025-11-21 v3 人工智能
计算机视觉与模式识别
信息检索
机器学习
摘要
知识编辑（Knowledge Editing, KE）能够修改大型语言模型（LLM）中过时或不正确的信息。虽然现有的 KE 方法可以更新孤立的事实，但它们通常无法将这些更新泛化到依赖被修改知识的多跳推理任务中。通过分析推理电路——即 LLM 用于基于知识推理的神经通路，我们发现当前的层局部化 KE 方法（例如 MEMIT、WISE），由于仅编辑单个或少数模型层，未能将更新后的知识充分整合到这些推理通路中。为了解决这一局限性，我们提出了 CaKE（Circuit-aware Knowledge Editing，电路感知知识编辑），这是一种增强 LLM 中更新知识有效整合的新方法。仅利用由我们基于电路的分析所引导的少量精选数据样本，CaKE 便能促使模型为新整合的知识发展出适当的推理电路。实验表明，CaKE 在相关推理任务中能够更准确、一致地使用编辑后的知识，在 MQuAKE 数据集上的多跳推理准确率平均提升了 20%，同时所需内存少于现有的 KE 方法。我们在 https://github.com/zjunlp/CaKE 发布了代码和数据。
引用
@article{arxiv.2503.16356,
title = {CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners},
author = {Yunzhi Yao and Jizhan Fang and Jia-Chen Gu and Ningyu Zhang and Shumin Deng and Huajun Chen and Nanyun Peng},
journal= {arXiv preprint arXiv:2503.16356},
year = {2025}
}
备注
EMNLP 2025