KaggleDBQA：文本到SQL解析器的现实评估
计算与语言
2021-06-23 v1 人工智能
数据库
编程语言
摘要
数据库问答的目标是实现对现实生活中多样应用领域关系数据库的自然语言查询。近来，Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术，提升了对未见数据库的零样本泛化能力。本文中，我们考察仍阻碍这些技术实际部署的挑战。首先，我们提出KaggleDBQA，一个由真实Web数据库构成的新型跨域评估数据集，具有领域特定数据类型、原始格式以及无限制问题。其次，我们重新审视应用于实际场景的文本到SQL解析器的评估任务选择。最后，我们用数据库文档这一自然存在的隐式领域知识来源来增强域内评估任务。我们表明KaggleDBQA对最先进的零样本解析器构成挑战，但更现实的评估设置和对相关数据库文档的创造性使用将其准确率提升了超过13.2%，使性能翻倍。
引用
@article{arxiv.2106.11455,
title = {KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers},
author = {Chia-Hsuan Lee and Oleksandr Polozov and Matthew Richardson},
journal= {arXiv preprint arXiv:2106.11455},
year = {2021}
}
备注
Published as a conference paper at ACL-IJCNLP 2021