知识编辑的林林总总与线索：重新思考顺序知识编辑中正则化方法
计算与语言
2026-05-27 v1 人工智能
摘要
顺序编辑大语言模型中的结构化知识允许在不重新训练的情况下进行针对性事实更新，但现有方法常依赖复杂的正则化或约束机制，其必要性尚不明确。本文系统性地研究了有效且稳定的顺序编辑背后的机制。具体而言，我们首先分析 AlphaEdit 的实证成功，并通过严格的优化分析，建立一种一次性编辑与顺序编辑的形式等价性。基于这一洞见，我们将等价性推广到更广泛的编辑目标类，表明稳定性自然地从对已累积编辑约束的正确性考虑中产生，而非来自特定的正则化或零空间操作。我们实证确认，许多常用正则化策略对于可靠的顺序更新并非必需。此外，我们将框架扩展到处理冲突编辑，确保在相互矛盾的更新下仍具备稳健且一致的行为。最终，我们的工作为顺序编辑之林中的线索（Ariadne's thread）指明了通往更简单、更可解释且可靠的知识更新之路。我们的代码已在 https://github.com/Wangzzzzzzzz/OTE-SE-Alignment 上提供。
引用
@article{arxiv.2605.26670,
title = {The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models},
author = {Zheng Wang and Kaixuan Zhang and Wanfang Chen and Jingwen Zhang and Xiaonan Lu},
journal= {arXiv preprint arXiv:2605.26670},
year = {2026}
}
备注
Accepted for publication at ICML 2026