KG-o1：通过知识图谱集成增强大型语言模型的多跳问答
计算与语言
2025-08-25 v1 人工智能
摘要
大型语言模型 (LLM) 在知识密集型推理任务（如经典多跳问答）中面临挑战，这些任务涉及跨多个事实的推理。由于 LLM 在此类任务中生成的思维链 (CoT) 常常偏离真实或先验的推理路径，这种困难存在。相比之下，知识图谱 (KG) 通过实体和关系显式地表示事实之间的逻辑连接，这反映出显著的差距。与此同时，大型推理模型 (LRM) 如 o1 已显示出长步骤推理显著提升了 LLM 的性能。基于这些见解，我们提出 KG-o1，一个四阶段方法，通过整合知识图谱来增强 LLM 的多跳推理能力。我们首先筛选初始实体并生成复杂子图。其次，我们为子图构建逻辑路径，然后使用知识图谱构建一个具有复杂且扩展的头脑风暴过程的数据集，以训练 LLM 模仿长期推理。最后，我们采用拒绝抽样生成一个自我改进的语料库，用于直接偏好优化 (DPO)，进一步细化 LLM 的推理能力。我们在两个简单数据集和两个复杂数据集上进行了实验。结果表明，KG-o1 模型在所有任务中均表现出优于现有 LRM 的优异性能。
引用
@article{arxiv.2508.15790,
title = {KG-o1: Enhancing Multi-hop Question Answering in Large Language Models via Knowledge Graph Integration},
author = {Nan Wang and Yongqi Fan and yansha zhu and ZongYu Wang and Xuezhi Cao and Xinyan He and Haiyun Jiang and Tong Ruan and Jingping Liu},
journal= {arXiv preprint arXiv:2508.15790},
year = {2025}
}