更多编辑，更稳定：理解序列模型编辑中的终身归一化
机器学习
2026-05-13 v1 计算与语言
摘要
终身模型编辑旨在持续更新大语言模型中不断变化的事实，同时保留无关知识和通用能力，但它仍然受到灾难性遗忘和模型崩溃的困扰。经验上，我们发现近期在长周期上具有弹性的编辑器共享相同的核心策略：终身归一化（LN），它使用运行统计量对值梯度进行归一化。移除 LN 会导致性能立即崩溃，并且我们观察到一种反直觉的正累积效应，即早期编辑可以促进未来编辑的成功。然而，LN 的机制仍然是一个“黑箱”，其在终身稳定性中的确切作用尚不清楚。在这项工作中，我们首次提供了 LN 在终身机制下的理论解释。我们的分析揭示了一个自我强化的稳定性循环，并证明当与岭正则化回归结合时，LN 产生的参数更新具有渐近正交性和有界范数，从而直接缓解遗忘和系统性崩溃。基于这些见解，我们推导出 StableEdit，它通过显式的预热阶段和完全白化来加强此稳定性循环，以最小的开销提高长周期稳定性。大量实验验证了我们的理论并展示了有竞争力的性能。我们的代码可在 https://github.com/MINE-USTC/StableEdit 获取。
引用
@article{arxiv.2605.11836,
title = {More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing},
author = {Xin Ma and Wei Chen and Qi Liu and Derong Xu and Zhi Zheng and Tong Xu and Enhong Chen},
journal= {arXiv preprint arXiv:2605.11836},
year = {2026}
}