Q-NL 验证器：利用合成数据提升知识图谱问答鲁棒性
计算与语言
2025-03-04 v1 数据库
机器学习
摘要
问答任务需要准确地将用户提问与结构化查询对齐，这一过程常因高质量查询-自然语言 (Q-NL) 对的稀缺而受限。为克服这一问题，我们提出了 Q-NL 验证器 (Q-NL Verifier)，一种用于生成高质量查询与自然语言翻译对的 метод。该方法依赖大语言模型 (LLM) 生成结构化查询的语义精确的自然语言改写版本。基于这些合成 Q-NL 对，我们引入一个学习型验证器组件，自动判断生成的改写版本是否与原始查询在语义上等价。我们在著名的 LC-QuAD 2.0 基准测试上进行实验，表明 Q-NL 验证器对来自其他模型甚至人工编写的改写版本具有良好泛化能力。该方法在不同查询复杂度下均与人类判断高度一致，并在评估语义正确性方面超越了现有的 NLP 指标。我们还将验证器集成到问答管道中，表明经验证器筛选后的合成数据在翻译正确性方面质量显著提升，并增强了自然语言到查询的翻译准确率。最后，我们发布了更新后的 LC-QuAD 2.0 基准数据集，包含我们的合成 Q-NL 对和验证器评分，为稳健且可扩展的问答提供了新资源。
关键词
引用
@article{arxiv.2503.01385,
title = {Q-NL Verifier: Leveraging Synthetic Data for Robust Knowledge Graph Question Answering},
author = {Tim Schwabe and Louisa Siebel and Patrik Valach and Maribel Acosta},
journal= {arXiv preprint arXiv:2503.01385},
year = {2025}
}