KG-TRACES：利用知识图谱约束的轨迹推理与归因监督增强大型语言模型
计算与语言
2025-10-21 v2 人工智能
摘要
大型语言模型在各种自然语言处理任务中取得了显著进展，但由于缺乏可解释性和可信度，其在复杂推理问题上的性能仍受阻。这一问题通常表现为幻觉或不可归因的推理过程，限制了其在复杂推理场景中的适用性。为了解决这一问题，我们提出了知识图谱约束的轨迹推理归因与链式解释监督（KG-TRACES），这是一种通过显式监督推理路径和过程来增强 LLM 推理能力的新颖框架。KG-TRACES 联合监督模型以：(1) 预测符号关系路径，(2) 预测完整三元组级别的推理路径，以及 (3) 生成基于推理路径的归因感知推理过程。在推理阶段，该模型适应 KG 可用和 KG 不可用两种场景，在可能时从 KG 检索推理路径，或在不可能时仅利用内在知识预测合理的推理路径。这种设计使模型能够以可解释和来源可归因的模式进行推理。通过在复杂推理任务上的广泛实验，我们证明 KG-TRACES 显著优于现有 SOTA：在 WebQSP 上将 Hits@1 提高了 1.6%，F1 提高了 4.7%，并在 CWQ 上实现了 Hits@1 提高 4.8%，F1 提高 2.1%。此外，我们展示了其向医学等专业领域的可迁移性。通过可视化推理过程的中间步骤，我们进一步表明 KG-TRACES 引入的显式监督带来了更稳定且目标导向的推理过程，与正确答案紧密吻合。代码可在 https://github.com/Edaizi/KG-TRACES 获取。
引用
@article{arxiv.2506.00783,
title = {KG-TRACES: Enhancing Large Language Models with Knowledge Graph-constrained Trajectory Reasoning and Attribution Supervision},
author = {Rong Wu and Pinlong Cai and Jianbiao Mei and Licheng Wen and Tao Hu and Xuemeng Yang and Daocheng Fu and Botian Shi},
journal= {arXiv preprint arXiv:2506.00783},
year = {2025}
}
备注
24 pages, 13 figures