SeaD:基于模式感知去噪的端到端文本到 SQL 生成
计算与语言
2023-01-31 v2 机器学习
摘要
在文本到 SQL 任务中,seq-to-seq 模型常因其架构局限导致次优性能。本文提出一种简单而有效的方法,将基于 transformer 的 seq-to-seq 模型适配于鲁棒的文本到 SQL 生成。我们未对解码器施加约束或将任务重构为槽填充,而是提出用模式感知去噪(Schema aware Denoising, SeaD)训练 seq-to-seq 模型,其包含两种去噪目标,训练模型从两种新颖的侵蚀与乱序噪声中恢复输入或预测输出。这些去噪目标作为辅助任务,以更好地建模 S2S 生成中的结构化数据。此外,我们改进并提出了一种子句敏感的执行引导(EG)解码策略,以克服生成模型 EG 解码的局限。实验表明,所提方法在模式链接与语法正确性上均提升了 seq-to-seq 模型性能,并在 WikiSQL 基准上确立了新的 SOTA。结果表明,vanilla seq-to-seq 架构在文本到 SQL 上的能力可能被低估。
引用
@article{arxiv.2105.07911,
title = {SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising},
author = {Kuan Xu and Yongbo Wang and Yongliang Wang and Zujie Wen and Yang Dong},
journal= {arXiv preprint arXiv:2105.07911},
year = {2023}
}
备注
9 pages