Proton：从预训练语言模型中探查模式链接信息用于文本到SQL解析
计算与语言
2022-08-09 v2
摘要
构建可应用于新数据库的文本到SQL解析器的重要性早已得到认可，而实现这一目标的关键步骤是模式链接，即在生成SQL时正确识别未见过的列或表的提及。在本工作中，我们提出了一种新颖的框架，通过基于庞加莱距离度量的探查过程从大规模预训练语言模型（PLMs）中引出关系结构，并利用所诱导的关系来增强当前的基于图的解析器以实现更好的模式链接。与常用的基于规则的模式链接方法相比，我们发现探查关系能够鲁棒地捕捉语义对应关系，即使提及与实体的表层形式不同。此外，我们的探查过程完全无监督且不需要额外参数。大量实验表明，我们的框架在三个基准上确立了新的最先进（SOTA）性能。我们通过定性分析实证验证了我们的探查过程确实能够找到所需的关系结构。我们的代码可在 https://github.com/AlibabaResearch/DAMO-ConvAI 找到。
引用
@article{arxiv.2206.14017,
title = {Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing},
author = {Lihan Wang and Bowen Qin and Binyuan Hui and Bowen Li and Min Yang and Bailin Wang and Binhua Li and Fei Huang and Luo Si and Yongbin Li},
journal= {arXiv preprint arXiv:2206.14017},
year = {2022}
}
备注
Accepted at KDD 2022