从自然语言问题生成神经 SPARQL 查询的综合评估
计算与语言
2024-01-15 v3 机器学习
摘要
近年来，用于 SPARQL 查询生成的神经机器翻译（NMT）领域显著增长。将拷贝机制与传统编码器-解码器架构结合，以及使用预训练编码器-解码器和大型语言模型（LLMs）已树立新的性能基准。本文呈现了复现并扩展近期基于 NMT 的 SPARQL 生成研究的多种实验，比较预训练语言模型（PLMs）、非预训练语言模型（NPLMs）和大型语言模型（LLMs），强调问题标注与拷贝机制的影响，并测试使用 LLMs 的多种微调方法。特别地，我们对模型进行了系统性错误分析并测试其泛化能力。我们的研究表明拷贝机制为大多数 PLMs 和 NPLMs 带来显著性能提升。数据标注对于生成正确 URI 至关重要，“tag-within”策略是最有效的方法。此外，我们的发现揭示错误主要源于 SPARQL 查询中不正确的 URI，使用基础模型时有时会被幻觉 URI 替换。使用拷贝机制时不会发生此情况，但有时会导致从候选中选中错误 URI。最后，被测 LLMs 的性能未达预期结果。
引用
@article{arxiv.2304.07772,
title = {A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions},
author = {Papa Abdou Karim Karou Diallo and Samuel Reyd and Amal Zouaq},
journal= {arXiv preprint arXiv:2304.07772},
year = {2024}
}