面向挑战现实问题的基于 SPARQL 的信息导航 (SPINACH)

大型语言模型 (LLM) 带来了知识库问答 (KBQA) 任务的显著改进。然而, 用于 KBQA 研究的数据集未能捕捉 KBQA 任务的真实复杂性。它们要么包含简单问题, 要么使用人工生成的逻辑形式, 或基于小型知识库 (KB) 模式。我们介绍 SPINACH 数据集, 来自 Wikidata "请求查询" 论坛的专家标注 KBQA 数据集, 包含 320 个无上下文问题-SPARQL 对。这些真实场景查询的复杂性需要能够动态探索大型且常不完整 KB 模式并对其进行推理的 KBQA 系统, 因为不可能创建全面的训练数据集。我们还引入一种基于情境学习的 KBQA 代理, 也称为 SPINACH， 模拟人类专家编写 SPARQL 以处理复杂问题。SPINACH 在 QALD-7、QALD-9 Plus 和 QALD-10 数据集上分别以 31.0%、27.0% 和 10.0% 的 $F_1$ 取得新的 SOTA 成绩, 在 WikiWebQuestions 上仅落后 1.6% 的微调 LLaMA SOTA 模型。 在我们的 SPINACH 数据集上, SPINACH 代理在所有基线中均优异, 在 $F_1$ 指标上至少高出 38.1%。