QueueEDIT：面向 LLM 序列化模型编辑的结构化自校正
计算与语言
2025-06-24 v1
摘要
近期，大型语言模型（LLM）展示了令人瞩目的成果，但仍然存在幻觉问题。模型编辑被提出用于纠正 LLM 中的事实性错误。一个具有挑战性的情况是序列化模型编辑（SME），其目标是持续纠正错误，而不是将其视为一次性任务。在 SME 过程中，由于新参数的引入，LLM 的通用能力可能会受到负面影响。在本文中，我们提出了一种基于队列的自校正框架，该框架不仅通过解决长序列依赖性来提升 SME 性能，还减轻了参数偏差对 LLM 通用能力的影响。具体而言，我们首先引入了一种结构化映射编辑损失，将三元组映射到 LLM 的 Transformer 层内的知识敏感神经元上。然后，我们将每条编辑知识所定位的参数存储在一个队列中，并动态对齐先前编辑的参数。在每次编辑时，我们选择与当前定位参数最相关的队列参数，以确定先前的知识是否需要重新对齐。队列中不相关的参数被冻结，我们将队首参数更新至 LLM，以确保它们不会损害通用能力。实验表明，我们的框架在各种 SME 设置下均显著优于强基线，并在单轮编辑中保持竞争力。由此产生的 LLM 在整个 SME 过程中也保持了高水平的通用 NLP 任务能力。
引用
@article{arxiv.2506.17864,
title = {QueueEDIT: Structural Self-Correction for Sequential Model Editing in LLMs},
author = {Taolin Zhang and Haidong Kang and Dongyang Li and Qizhou Chen and Chengyu Wang Xiaofeng He and Richang Hong},
journal= {arXiv preprint arXiv:2506.17864},
year = {2025}
}