使用LLM生成SPARQL查询：衡量训练数据记忆与知识注入的影响
信息检索
2025-07-21 v1 人工智能
计算与语言
摘要
如今，具有自然语言用户界面的软件的重要性不容小觑。在特定情况下，针对知识图谱的问答系统（KGQA）的核心任务是从给定的自然语言问题中生成SPARQL查询（常称为查询构建）。鉴于大型语言模型（LLM）的兴起，被认为是提高问答功能质量的合适方法，因为仍有大量提升空间，以实现更高的质量和可信度。然而，LLM是在网络数据上训练的，研究人员无法控制基准或知识图谱是否已包含在训练数据中。本文引入了一种新方法，通过在各种条件下从自然语言问题生成SPARQL查询来评估LLM的质量：(1)零样本SPARQL生成，(2)带知识注入，(3)带“匿名化”知识注入。这使我们首次能够估计训练数据对LLM提升问答质量的影响。最终，这将帮助识别方法的可移植性，或得益于基准已包含在训练数据中（即LLM记忆）。开发的方法具有可移植性和鲁棒性，可支持任何知识图谱；因此，可以轻松应用于任何KGQA或LLM，以生成对实际LLM能力的一致性见解。
引用
@article{arxiv.2507.13859,
title = {SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection},
author = {Aleksandr Gashkov and Aleksandr Perevalov and Maria Eltsova and Andreas Both},
journal= {arXiv preprint arXiv:2507.13859},
year = {2025}
}
备注
Winner of Best Paper Award at the 25th International Conference on Web Engineering (ICWE 2025)