Reason-KE++: 面向忠实 LLM 知识编辑的过程对齐
计算与语言
2025-11-18 v1
摘要
对大型语言模型(LLM)进行对齐以在复杂的多跳推理任务中忠实于新知识是关键且尚未解决的挑战。我们发现，SFT 方法，如 Reason-KE，虽然是最新的，却存在 "忠实性差距"：它们优化的是格式模仿，而非健全的推理。这一差距使 LLM 的强大参数先验能够覆盖新的情境事实，导致关键事实幻觉（例如，尽管进行了明确的编辑，仍错误地从 "NASA" 推导出 "Houston"）。为解决这一核心 LLM 对齐问题，我们提出 Reason-KE++，一个 SFT+RL 框架，致力于过程层面的忠实性。其核心是面向阶段的奖励机制，为中间推理步骤（例如，分解、子答案正确性）提供稠密监督。关键地，我们指出，单纯的基于结果的 RL 对 LLM 对齐是欺骗性的陷阱：它会坍塌推理完整性（例如，19.00% 的 Hop acc）同时表面上提升最终准确率。我们的过程导向框架在 MQUAKE-CF-3k 上达到 95.48% 的 SOTA 分数（提升 5.28%），表明对于复杂任务， Aligning 推理过程对于构建可信赖的 LLM 至关重要。
引用
@article{arxiv.2511.12661,
title = {Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing},
author = {Yuchen Wu and Liang Ding and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2511.12661},
year = {2025}
}