面向表格语义解析的链接增强预训练
计算与语言
2022-02-16 v3
摘要
近来预训练模型通过利用大规模文本语料提升神经网络的上下文表示能力，显著改善了各类NLP任务的表现。大型预训练语言模型亦已应用于表格语义解析领域。然而，现有预训练方法未细致探索问题与相应数据库模式之间的显式交互关系，而这是揭示其语义与结构对应性的关键要素。此外，在模式接地（schema grounding）语境下的问题感知表示学习在预训练目标中较少受到关注。为缓解这些问题，本文设计两种新颖的预训练目标，将所需的归纳偏置注入表格预训练所学表示中。我们进一步提出一种模式感知课程学习方法来减轻噪声影响，并以由易到难的方式从预训练数据中有效学习。我们在Spider与SQUALL两个基准上微调所提预训练框架以进行评估。结果表明，相较于多种基线，我们的预训练目标与课程学习均具有效性。
引用
@article{arxiv.2111.09486,
title = {Linking-Enhanced Pre-Training for Table Semantic Parsing},
author = {Bowen Qin and Lihan Wang and Binyuan Hui and Ruiying Geng and Zheng Cao and Min Yang and Jian Sun and Yongbin Li},
journal= {arXiv preprint arXiv:2111.09486},
year = {2022}
}