基于生成增强预训练学习用于语义解析的上下文表示
计算与语言
2020-12-21 v1
摘要
近来，通过利用大规模文本语料库以自监督学习目标（如掩码语言模型（MLM））训练大型神经语言模型，来为各类 NLP 任务学习上下文表示引起了显著关注。然而，基于一项初步研究，我们观察到现有通用语言模型在应用于文本到 SQL 语义解析器时的三个问题：无法检测话语中的列提及、无法从单元格值推断列提及，以及无法组合复杂 SQL 查询。为缓解这些问题，我们提出一种模型预训练框架——生成增强预训练（GAP），其通过利用生成模型生成预训练数据，联合学习自然语言话语与表模式的表示。GAP MODEL 在 200 万话语-模式对和 3 万话语-模式-SQL 三元组上训练，其中话语由生成模型产生。基于实验结果，以 GAP MODEL 作为表示编码器的神经语义解析器在 SPIDER 和 CRITERIA-TO-SQL 基准上均取得了新的最优（SOTA）结果。
引用
@article{arxiv.2012.10309,
title = {Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training},
author = {Peng Shi and Patrick Ng and Zhiguo Wang and Henghui Zhu and Alexander Hanbo Li and Jun Wang and Cicero Nogueira dos Santos and Bing Xiang},
journal= {arXiv preprint arXiv:2012.10309},
year = {2020}
}
备注
Accepted to AAAI 2021