MEMOIR：面向 LLMs 的终身模型编辑，实现最小覆盖与知性保留
计算与语言
2026-02-03 v4 机器学习
摘要
部署在实际系统中的语言模型常需后续更新以纠正或添加新知识。然而，在无需重新训练且不忘记先前信息的前提下，对此类模型进行高效可靠的编辑仍是主要挑战。现有方法要么牺牲泛化能力，要么干扰先前的编辑，亦或无法扩展到长时间编辑序列。我们提出 MEMOIR，一种新型可扩展框架，通过残差记忆（即专用的参数模块）注入知识，同时保留预训练模型的核心能力。通过对输入激活进行稀疏化（使用样本相关的掩码），MEMOIR 将每一次编辑限制在记忆参数的独立子集上，从而最小化编辑之间的相互干扰。在推理阶段，它通过比较新查询的稀疏激活模式与编辑期间存储的模式来识别相关编辑。这一机制使模型能够通过激活仅相关的知识来应对改写查询，同时抑制与无关提示的不必要记忆激活。在针对 LLaMA-3 和 Mistral 主干模型的问答、幻觉纠正及跨域泛化基准测试中，MEMOIR 在可靠性、泛化和局部性指标上均实现了最先进水平，能够扩展至数千次顺序编辑且几乎不产生遗忘。
引用
@article{arxiv.2506.07899,
title = {MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs},
author = {Ke Wang and Yiming Qin and Nikolaos Dimitriadis and Alessandro Favero and Pascal Frossard},
journal= {arXiv preprint arXiv:2506.07899},
year = {2026}
}
备注
The first two authors contributed equally to this work; Accepted to NeurIPS 2025