AlphaEdit：基于零空间约束的语言模型知识编辑
计算与语言
2025-04-23 v4 人工智能
摘要
大型语言模型（LLMs）常因错误或过时知识而出现幻觉。因此，模型编辑方法涌现出来，用于实现针对性知识更新。为此，主流方法是先定位相关参数，再通过引入扰动来编辑它们。虽然有效，但当前研究表明，这种扰动不可避免地会破坏LLMs中原本保留的知识，尤其是在顺序编辑场景中。为此，我们引入AlphaEdit，通过在应用扰动到参数之前将其投影到保留知识的零空间中。我们理论上证明，这种投影确保经过编辑的LLMs在询问保留知识时输出保持不变，从而缓解了扰动问题。对各种LLMs进行大量实验，包括LLaMA3、GPT2-XL和GPT-J，显示AlphaEdit通过仅添加一行代码进行投影，即可使大多数定位-编辑方法的性能平均提升36.7%。我们的代码已公开：https://github.com/jianghoucheng/AlphaEdit。
引用
@article{arxiv.2410.02355,
title = {AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models},
author = {Junfeng Fang and Houcheng Jiang and Kun Wang and Yunshan Ma and Shi Jie and Xiang Wang and Xiangnan He and Tat-seng Chua},
journal= {arXiv preprint arXiv:2410.02355},
year = {2025}
}