关于顺序知识编辑中叠加噪声累积问题的讨论
计算与语言
2026-04-01 v2 人工智能
摘要
顺序知识编辑技术旨在以低成本持续更新大型语言模型中的知识，防止模型生成过时或不正确的信息。然而，现有顺序编辑方法在长期编辑后会出现显著的编辑成功率下降。通过理论分析和实验，我们的发现表明，随着编辑次数的增加，模型的输出越来越偏离预期目标，导致编辑成功率下降。我们将此问题称为叠加噪声累积问题。我们的进一步分析表明，该问题与无关知识的错误激活以及被激活知识之间的冲突有关。基于这一分析，我们提出了一种名为 DeltaEdit 的方法，通过动态正交约束策略减少知识之间的冲突。实验表明，DeltaEdit 显著降低了叠加噪声，相较于最强的基线实现了 16.8% 的编辑性能提升。
引用
@article{arxiv.2505.07899,
title = {On the Superimposed Noise Accumulation Problem in Sequential Knowledge Editing of Large Language Models},
author = {Ding Cao and Yuchen Cai and Yuqing Huang and Xuesong He and Rongxi Guo and Guiquan Liu and Guangzhong Sun},
journal= {arXiv preprint arXiv:2505.07899},
year = {2026}
}