序列知识编辑崩溃的谱表征与缓解
计算与语言
2026-05-12 v2 人工智能
摘要
大型语言模型中的序列知识编辑通常会导致模型通用能力的灾难性崩溃，尤其是对于参数修改方法。现有方法通过对参数更新的启发式约束来缓解此问题，但这种退化背后的机制仍未被充分理解。在这项工作中，我们对序列知识编辑进行了谱分析，并表明模型的通用能力与预训练权重矩阵的主奇异方向密切相关。这些方向对扰动高度敏感，并被重复编辑逐渐破坏，与编辑有效性和通用性能的崩溃密切对应。基于这一见解，我们提出了 REVIVE，这是一个即插即用的框架，通过显式保留主奇异子空间来稳定序列编辑。REVIVE 在原始权重的谱基中表示参数更新，并过滤会干扰受保护区域的成分。在多个模型和基准上的广泛实验表明，REVIVE 在长期序列编辑下持续提高编辑有效性并大幅保留通用能力，包括多达 20,000 次编辑的极端设置。
引用
@article{arxiv.2601.11042,
title = {Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse},
author = {Chi Zhang and Mengqi Zhang and Xiaotian Ye and Runxi Cheng and Zisheng Zhou and Ying Zhou and Pengjie Ren and Zhumin Chen},
journal= {arXiv preprint arXiv:2601.11042},
year = {2026}
}
备注
22 pages, 18 figures, Accepted to ACL 2026 (Main Conference)