PRACTIQ：带有模糊和不可解答查询的实用对话式文本到SQL数据集
计算与语言
2026-01-26 v2 人工智能
摘要
先前的文本到SQL数据集和系统主要关注具有明确意图且可被回答的用户问题。然而，真实用户问题往往是模糊的，可能包含多种解释，或因缺乏相关数据而无法被回答。本文我们构建了一个名为PRACTIQ的实用对话式文本到SQL数据集，包含灵感来自真实用户问题的模糊和不可解答问题。我们首先通过研究现有的文本到SQL数据集，识别了四类模糊问题和四类不可解答问题。随后，我们生成包含四个回合的对话：初始用户问题、助手寻求澄清的响应、用户的澄清以及助手用自然语言解释执行结果的已澄清SQL响应。对于某些模糊查询，我们还直接生成考虑多种模糊性的有帮助SQL响应，而不是请求用户澄清。为在模糊、不可解答和可解答问题上进行基准测试，我们实现了基于大型语言模型(LLM)的基线方法，采用各种LLM。我们的方案涉及两个步骤：问题类别分类和澄清SQL预测。我们的实验表明，最先进的系统在有效处理模糊和不可解答问题方面仍存在挑战。我们将在GitHub上发布代码，用于数据生成和实验。
引用
@article{arxiv.2410.11076,
title = {PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries},
author = {Mingwen Dong and Nischal Ashok Kumar and Yiqun Hu and Anuj Chauhan and Chung-Wei Hang and Shuaichen Chang and Lin Pan and Wuwei Lan and Henghui Zhu and Jiarong Jiang and Patrick Ng and Zhiguo Wang},
journal= {arXiv preprint arXiv:2410.11076},
year = {2026}
}