你问了一个好问题吗？面向文本到SQL的跨领域问题意图分类基准
计算与语言
2020-10-27 v1
摘要
神经模型在文本到SQL任务上已取得显著成果，目前多数工作假设所有输入问题均合法，并为任意输入生成一条SQL查询。然而在实际场景中，用户可能输入任何文本，其中某些文本无法由SQL查询回答。本工作中，我们提出TriageSQL，这是首个跨领域文本到SQL问题意图分类基准，要求模型将四类不可回答问题与可回答问题区分开来。基线RoBERTa模型在测试集上取得了60%的F1分数，表明该任务仍有待进一步改进。我们的数据集发布于 https://github.com/chatc/TriageSQL。
引用
@article{arxiv.2010.12634,
title = {Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL},
author = {Yusen Zhang and Xiangyu Dong and Shuaichen Chang and Tao Yu and Peng Shi and Rui Zhang},
journal= {arXiv preprint arXiv:2010.12634},
year = {2020}
}
备注
8 pages, 2 figures