因果路径对齐：用于可控参数内知识编辑的优化轨迹锚定
计算与语言
2026-05-21 v2
摘要
知识编辑对于高效更新大语言模型(LLMs)的参数化记忆至关重要，使其能够在动态环境中作为不断演化的智能体发挥作用。然而，主流的参数内知识编辑方法遭受主体主导记忆干扰：修改特定事实会意外破坏LLMs中同一主体关联的更广泛的结构性知识。我们将根本原因诊断为捷径学习病理，即优化目标过度拟合主体表示而绕过了必要的关系上下文。为纠正这一问题，我们提出了因果路径对齐(Causal Path Alignment, CPA)，一个旨在将优化轨迹锚定到有效因果路径的原则性框架。CPA强制参数更新通过关系感知的中间状态路由，从而防止上下文依赖关系的擦除。在多样化LLM骨干网络上的实验结果表明，CPA一致性地消除了捷径，显著提高了关系特异性，同时表现出最小的副作用。此外，CPA作为模型无关的插件适用于现有编辑器，为可靠且可信赖的参数内知识编辑铺平了道路。
引用
@article{arxiv.2506.04042,
title = {Causal Path Alignment: Anchoring the Optimization Trajectory for Controllable In-Parameter Knowledge Editing},
author = {Xiyu Liu and Zhengxiao Liu and Naibin Gu and Zheng Lin and Weiping Wang},
journal= {arXiv preprint arXiv:2506.04042},
year = {2026}
}
备注
Accepted by IJCAI 2026