面向知识编辑的子空间感知键值映射 SUIT
计算与语言
2026-03-03 v3
摘要
知识编辑旨在高效纠正语言模型中的事实性错误。广泛使用的定位-编辑方法通过调整 MLP 层的权重来改变该层输入向量（key）与输出向量（value）之间的映射，从而编辑模型的知识。由于该更新由 key 和 value 向量驱动，若不谨慎约束这些向量会导致原始编辑之外的显著模型扰动，这是许多先前知识编辑方法的常见问题。为此，我们提出子空间知识编辑（SUIT），其计算仅在与编辑相关的关键特征子空间内的 key 和 value 向量。我们的实验结果表明，SUIT 在 LLaMA3、GPT-J 和 Qwen2.5 模型上显著优于强基准方法，实现知识保存的提升，同时保持高编辑性能。这些结果支持 SUIT 成功识别编辑关键子空间的论点。除定量提升外，我们的分析显示，SUIT 减少了隐藏状态中的意外扰动，同时将更新限制在更有效用于编辑的方向上。综上，这些发现确立了识别编辑关键子空间作为可靠低扰动知识编辑的关键原则。我们的代码已公开于 https://github.com/holi-lab/SUIT。
引用
@article{arxiv.2509.24502,
title = {SUIT: Knowledge Editing with Subspace-Aware Key-Value Mappings},
author = {Haewon Park and Sangwoo Kim and Yohan Jo},
journal= {arXiv preprint arXiv:2509.24502},
year = {2026}
}
备注
31 pages, 13 figures, 17 tables