面向文本到SQL生成的字节对编码
计算与语言
2019-11-19 v2 机器学习
摘要
神经序列到序列模型为将自然语言问题映射为SQL查询(也称为文本到SQL生成)的任务提供了一种有竞争力的方法。字节对编码算法(BPE)先前已被用于改进自然语言之间的机器翻译(MT)。在这项工作中,我们使BPE适用于文本到SQL生成。由于该任务的数据集与MT相比相当小,我们提出了一种新颖的停止准则,以防止BPE编码对训练集过拟合。此外,我们提出了AST BPE,这是BPE的一个版本,它利用SQL语句的抽象语法树(AST)来指导BPE合并,从而产生泛化更好的BPE编码。我们在六个英文文本到SQL任务中的五个上提高了强大的注意力seq2seq基线的准确率,同时由于目标序列缩短,其中四个任务的训练时间减少了50%以上。最后,在其中的两个任务上我们超越了先前报告的准确率。
引用
@article{arxiv.1910.08962,
title = {Byte-Pair Encoding for Text-to-SQL Generation},
author = {Samuel Müller and Andreas Vlachos},
journal= {arXiv preprint arXiv:1910.08962},
year = {2019}
}