Fact Finder —— 通过整合知识图谱提升大型语言模型的领域专业知识
计算与语言
2024-08-07 v1 信息检索
摘要
最近的大型语言模型（LLM）在回答自然语言查询方面展现出色的能力，但其效果受限于领域特定知识的不足，引发对其响应可靠性的担忧。我们引入一种混合系统，通过整合领域特定知识图谱（KG），旨在以基于知识图谱的检索方法提升事实正确性。我们聚焦于医学知识图谱以展示方法论，包括（1）预处理、（2）Cypher 查询生成、（3）Cypher 查询处理、（4）知识图谱检索、（5）增强响应生成。我们在包含69个样本的精选数据集上评估该系统，实现了78%的KG节点检索准确率。我们的发现表明，混合系统在准确性和完整性方面优于独立的LLM，经LLM评判方法验证。该系统作为需要事实正确性和完整性的应用工具备受推崇，例如靶点识别——这一在针对疾病治疗或作物改良中确定生物实体的关键过程。此外，其直观的搜索界面和在数秒内提供准确响应的能力，使其适用于面向时间敏感、精细化研究情境。我们随论文发布源代码、数据集及所用提示模板。
引用
@article{arxiv.2408.03010,
title = {Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs},
author = {Daniel Steinigen and Roman Teucher and Timm Heine Ruland and Max Rudat and Nicolas Flores-Herr and Peter Fischer and Nikola Milosevic and Christopher Schymura and Angelo Ziletti},
journal= {arXiv preprint arXiv:2408.03010},
year = {2024}
}
备注
10 pages, 7 figures