理解知识图谱对企业 SQL 数据库上大语言模型问答准确率的基准测试
人工智能
2023-11-14 v1 计算与语言
数据库
摘要
大语言模型（LLMs）在企业 SQL 数据库上的问答应用具有前景。然而，鉴于缺乏面向企业场景的合适 Text-to-SQL 基准，LLM 在此类数据库中准确回答企业问题的程度仍不明确。此外，知识图谱（KGs）通过提供业务上下文来增强基于 LLM 的问答的潜力也未被充分理解。本研究旨在评估基于 LLM 的问答系统在企业问题及 SQL 数据库背景下的准确率，同时探究知识图谱在提升准确率中的作用。为此，我们引入了一个基准，包含保险领域的企业 SQL 模式、涵盖报表到指标的一系列企业查询，以及包含定义知识图谱的本体与映射的上下文层。我们的主要发现表明：使用 GPT-4 以零样本提示直接基于 SQL 数据库进行问答的准确率为 16%；值得注意的是，当问题置于企业 SQL 数据库的知识图谱表示之上时，准确率提升至 54%。因此，投资知识图谱可为基于 LLM 的问答系统提供更高的准确率。
引用
@article{arxiv.2311.07509,
title = {A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases},
author = {Juan Sequeda and Dean Allemang and Bryon Jacob},
journal= {arXiv preprint arXiv:2311.07509},
year = {2023}
}
备注
34 pages