探索思维链风格提示在文本到 SQL 中的应用
计算与语言
2023-10-30 v2
摘要
大语言模型（LLMs）的上下文学习因其在各类任务上优越的少样本性能而近期受到越来越多关注。然而，其在文本到 SQL 解析上的性能仍有很大改进空间。本文中，我们假设 LLMs 在文本到 SQL 解析上需改进的一个关键方面是其多步推理能力。因此我们系统性地研究如何通过思维链（CoT）风格提示增强 LLMs 的推理能力，包括原始思维链提示（Wei et al., 2022b）与由易到难提示（Zhou et al., 2023）。我们的实验表明，Zhou et al. (2023) 中的迭代提示对于文本到 SQL 解析可能并非必要，且使用详细推理步骤往往具有更多的错误传播问题。基于这些发现，我们提出一种用于文本到 SQL 解析的新型 CoT 风格提示方法。与不含推理步骤的标准提示方法相比，其在 Spider 开发集与 Spider Realistic 集上分别带来 5.2 和 6.5 个绝对点的提升；与由易到难提示方法相比，分别带来 2.4 和 1.5 个绝对点的提升。
引用
@article{arxiv.2305.14215,
title = {Exploring Chain-of-Thought Style Prompting for Text-to-SQL},
author = {Chang-You Tai and Ziru Chen and Tianshu Zhang and Xiang Deng and Huan Sun},
journal= {arXiv preprint arXiv:2305.14215},
year = {2023}
}
备注
EMNLP 2023 main; long paper