EtCon：可靠知识编辑的编辑-Consolidate 方法
计算与语言
2026-02-02 v2
摘要
知识编辑旨在更新大型语言模型（LLM）中特定事实，而无需进行完整 retraining。以往的工作致力于调整 LLM 的知识层，实现在受控、教师强制评估中的性能提升。然而，这些方法在实际的自回归生成场景中仍面临挑战，严重限制了其实际应用性。我们的经验分析揭示了两个问题：（1）大多数方法在注入新知识后会降低预训练能力；（2）它们可能在存储的参数化知识与推理时自回归生成行为之间存在差异。为此，我们提出了 EtCon—an edit-then-consolidate（编辑-Consolidate）范式，将有针对性的编辑与事后 consolidation 结合。具体而言，我们的框架包含两个阶段：（1）有针对性的近端监督微调（TPSFT）执行受约束的有针对性编辑，以更新参数化知识并控制策略漂移；（2）组相对策略优化（GRPO）通过与预期事实对齐自回归轨迹来完成编辑的 consolidation。广泛的实验表明，EtCon 在提高编辑可靠性和实际泛化性方面取得显著效果，同时更好地保留了预训练能力。
引用
@article{arxiv.2512.04753,
title = {EtCon: Edit-then-Consolidate for Reliable Knowledge Editing},
author = {Ruilin Li and Yibin Wang and Wenhong Zhu and Chenglin Li and Jinghao Zhang and Chenliang Li and Junchi Yan and Jiaqi Wang},
journal= {arXiv preprint arXiv:2512.04753},
year = {2026}
}