基于表感知词上下文的 WikiSQL 综合探索
计算与语言
2019-11-12 v2
摘要
我们提出 SQLova，这是首个在 WikiSQL 数据集上达到人类水平的自然语言到 SQL（NL2SQL）模型。我们重访并讨论了 NL2SQL 文献中多种流行方法，通过一种有效的表上下文方法充分利用 BERT（Devlin et al., 2018），并将它们连贯地结合，在逻辑形式和执行准确率上分别比先前最优结果高出 8.2% 和 2.5%。我们特别指出，带有 seq2seq 解码器的 BERT 在该任务上表现不佳，表明在使用此类大型预训练模型时精心设计的重要性。我们还对数据集和我们的模型提供了全面分析，有助于设计未来的 NL2SQL 数据集与模型。我们尤其表明，我们的模型在 WikiSQL 上的性能接近上限，其中我们观察到大量评测错误源于错误标注，并且我们的模型在执行准确率上已以 1.3% 超越人类表现。
引用
@article{arxiv.1902.01069,
title = {A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization},
author = {Wonseok Hwang and Jinyeong Yim and Seunghyun Park and Minjoon Seo},
journal= {arXiv preprint arXiv:1902.01069},
year = {2019}
}
备注
KR2ML Workshop at NeurIPS 2019, 11 pages, 4 figures