增强大语言模型的少样本文本到 SQL 能力：提示设计策略研究
计算与语言
2023-05-23 v1
摘要
上下文学习（ICL）已成为处理各类自然语言处理任务的新方法，利用大语言模型（LLM）基于补充了少量示例或任务特定指令的上下文进行预测。在本文中，我们旨在将该方法扩展到利用结构化知识源的问答任务，并通过探索使用 LLM 的各种提示设计策略来改进文本到 SQL 系统。我们对文本到 SQL 任务中提示 LLM 的不同演示选择方法与最优指令格式进行了系统研究。我们的方法涉及利用示例 SQL 查询的句法结构来检索演示，并表明在演示选择中同时追求多样性与相似性可提升性能。此外，我们表明 LLM 受益于数据库相关知识增强。我们最有效的策略在 Spider 数据集上以 2.5 个百分点（执行准确率）超越最先进系统，并以 5.1 个百分点超越最佳微调系统。这些结果凸显了我们方法在使 LLM 适应文本到 SQL 任务上的有效性，并我们给出了促成策略成功因素的分析。
引用
@article{arxiv.2305.12586,
title = {Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies},
author = {Linyong Nan and Yilun Zhao and Weijin Zou and Narutatsu Ri and Jaesung Tae and Ellen Zhang and Arman Cohan and Dragomir Radev},
journal= {arXiv preprint arXiv:2305.12586},
year = {2023}
}