面向更好训练和评估的知识图谱增强型 LLM 的真实子图
机器学习
2025-12-05 v2 人工智能
计算与语言
信息检索
摘要
从图结构知识库中检索信息是提高大语言模型事实性的一个有前景的方向。尽管提出了各种解决方案，但由于缺乏具有 ground-truth 目标的具有挑战性 QA 数据集，难以进行方法比较。我们提出 SynthKGQA，一个由 LLM 提供支持的框架，用于从任何知识图谱中生成高质量知识图谱问答数据集，提供完整的 ground-truth 事实集以进行推理。我们展示了，除了使 KG 检索器的基准测试更具信息性外，SynthKGQA 生成的数据还允许我们训练更好的模型。我们将 SynthKGQA 应用于 Wikidata，以生成 GTSQA—a 旨在测试 KG 检索器针对未见图结构和关系类型的零样本泛化能力的新数据集，并对流行的 KG 增强型 LLM 解决方案进行基准测试。
引用
@article{arxiv.2511.04473,
title = {Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs},
author = {Alberto Cattaneo and Carlo Luschi and Daniel Justus},
journal= {arXiv preprint arXiv:2511.04473},
year = {2025}
}