LyapLock：顺序大语言模型编辑中的有界知识保留
计算与语言
2025-10-28 v2
摘要
大语言模型常包含事实错误或过时知识，驱动模型编辑方法进行精准知识更新。然而，当前主流的定位-编辑方法在顺序编辑过程中因缺乏长期知识保留机制，表现出逐步式性能衰减。为此，我们将顺序编辑建模为受约束的随机规划问题。面对累积性保护误差约束和逐步公开编辑任务的挑战，提出 LyapLock。该方法集成队列理论与Lyapunov 优化，将长期约束规划分解为可高效求解的分步子问题。这是第一个具严格理论保证的模型编辑框架，实现渐进最优编辑性能，同时满足长期知识保留约束。实验表明，该框架将顺序编辑容量扩展至 10,000+ 次，稳定通用能力，平均编辑效能提升 11.89%。此外，亦可用于增强基线方法性能。代码已发布于 https://github.com/caskcsg/LyapLock。
关键词
引用
@article{arxiv.2505.15702,
title = {LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing},
author = {Peng Wang and Biyu Zhou and Xuehai Tang and Jizhong Han and Songlin Hu},
journal= {arXiv preprint arXiv:2505.15702},
year = {2025}
}
备注
EMNLP 2025 main