通过零空间约束缓解多语言序贯知识编辑中的负干扰
计算与语言
2025-06-13 v1
摘要
在大型语言模型（LLM）中高效更新多语言知识，同时保持跨语言的一致性事实表示，仍然是一个长期未解决的挑战。虽然为每种语言部署独立的编辑系统看似可行，但这种方法因需要管理多个模型而产生大量成本。更高效的解决方案是将所有语言的知识更新集成到一个统一模型中。然而，跨语言进行序贯编辑往往导致破坏性的参数干扰，显著降低多语言泛化能力和注入知识的准确性。为了应对这一挑战，我们提出了 LangEdit，一种新颖的零空间约束框架，旨在精确隔离特定语言的知识更新。LangEdit 的核心创新在于其能够将每个语言的参数更新投影到先前更新子空间的正交补上。该方法在数学上保证了更新的独立性，同时保持了多语言泛化能力。我们在三种模型架构、六种语言和四个下游任务上进行了全面评估，证明 LangEdit 有效缓解了参数干扰并优于现有的最先进编辑方法。我们的结果突显了其在 LLM 中实现高效和准确的多语言知识更新方面的潜力。代码可在 https://github.com/VRCMF/LangEdit.git 获取。
引用
@article{arxiv.2506.10800,
title = {Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints},
author = {Wei Sun and Tingyu Qu and Mingxiao Li and Jesse Davis and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2506.10800},
year = {2025}
}
备注
ACL 2025 Findings