交错预训练语言模型与大型语言模型以实现零样本NL2SQL生成
计算与语言
2023-06-16 v1
摘要
零样本NL2SQL对于实现自适应于新环境（例如新数据库、新语言现象或SQL结构）且无需来自此类环境的标注NL2SQL样本的自然语言到SQL转换至关重要。现有方法要么基于标注数据微调预训练语言模型（PLMs），要么使用提示引导固定的大型语言模型（LLMs，如ChatGPT）。PLMs在模式对齐上表现良好但难以完成复杂推理，而LLMs在复杂推理任务上更优却无法实现精确的模式对齐。本文中，我们提出ZeroNL2SQL框架，结合PLMs与LLMs的互补优势以支持零样本NL2SQL。ZeroNL2SQL首先利用PLMs通过模式对齐生成SQL草图，随后利用LLMs通过复杂推理填补缺失信息。此外，为更好地使生成的SQL查询与给定数据库实例中的值对齐，我们设计了一种谓词校准方法，以基于数据库实例引导LLM完成SQL草图，并通过基于执行的策略选择最优SQL查询。综合实验表明，ZeroNL2SQL在真实世界基准上取得了最佳的零样本NL2SQL性能。具体而言，ZeroNL2SQL在执行准确率上比最先进的基于PLM的方法高出3.2%至13%，并超越基于LLM的方法10%至20%。
引用
@article{arxiv.2306.08891,
title = {Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation},
author = {Zihui Gu and Ju Fan and Nan Tang and Songyue Zhang and Yuxin Zhang and Zui Chen and Lei Cao and Guoliang Li and Sam Madden and Xiaoyong Du},
journal= {arXiv preprint arXiv:2306.08891},
year = {2023}
}
备注
Working in progress