Generate-on-Graph: 在不完整知识图谱问答中将 LLM 同时用作智能体与知识图谱
计算与语言
2024-10-08 v3 人工智能
摘要
为了解决大型语言模型（LLM）知识不足和幻觉的问题，许多研究探索了将 LLM 与知识图谱（KG）相结合。然而，这些方法通常在具有完整 KG 的传统知识图谱问答（KGQA）上进行评估，其中每个问题所需的所有事实三元组都完全被给定的 KG 覆盖。在这种情况下，LLM 主要充当在 KG 内寻找答案实体的智能体，而不是有效地整合 LLM 的内部知识和 KG 等外部知识源。事实上，KG 往往是不完整的，无法涵盖回答问题所需的所有知识。为了模拟这些真实世界场景并评估 LLM 整合内部与外部知识的能力，我们提出利用 LLM 在不完整知识图谱下进行问答（IKGQA），其中提供的 KG 缺少每个问题所需的部分事实三元组，并构建了相应的数据集。为了处理 IKGQA，我们提出了一种名为 Generate-on-Graph (GoG) 的免训练方法，该方法可以在探索 KG 的同时生成新的事实三元组。具体而言，GoG 通过 Thinking-Searching-Generating 框架进行推理，在 IKGQA 中将 LLM 同时用作智能体和 KG。在两个数据集上的实验结果表明，我们的 GoG 优于所有先前的方法。
引用
@article{arxiv.2404.14741,
title = {Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering},
author = {Yao Xu and Shizhu He and Jiabei Chen and Zihao Wang and Yangqiu Song and Hanghang Tong and Guang Liu and Kang Liu and Jun Zhao},
journal= {arXiv preprint arXiv:2404.14741},
year = {2024}
}
备注
Accepted by EMNLP 2024 Main