多语言知识编辑的向量合并方法：一次实证探索
计算与语言
2026-05-15 v1 机器学习
摘要
多语言知识编辑 (MKE) 仍具有挑战性，因为语言特定的编辑即使在单语环境中工作良好的 locate-then-edit 方法也会相互干扰。本文聚焦于三个问题：向量合并方法在 MKE 中的有效性、任务唯一向量用于合并 (TSVM) 能否减少多语言干扰，以及权重缩放因子和秩压缩比率对性能的影响。我们在两个流行的大型语言模型背板、两个基本知识编辑方法和 12 种语言的 MzsRE 数据集上，对六种合并变体进行评估，并在大规模批处理编辑设置下进行测试。我们的结果表明，向量求和配合共享协方差是最可靠的整体策略，而简单求和不配合共享协方差表现较差。TSVM 在某些设置下改进了性能，但其减轻多语言干扰的能力有限。我们还发现性能对权重比和秩比都敏感，较大于默认值的缩放和相对较低的秩往往会产生更好的结果。这些发现阐明了当前向量合并方法在 MKE 中的实际优势与限制，并为未来的多语言知识编辑研究提供了指导。
关键词
引用
@article{arxiv.2605.13919,
title = {Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey},
author = {Kunil Lee and Ki-Young Shin and Jong-Hyeok Lee and Young-Joo Suh},
journal= {arXiv preprint arXiv:2605.13919},
year = {2026}
}