对 ChatGPT 零样本文本到 SQL 能力的综合评估
计算与语言
2023-03-27 v1 人工智能
摘要
本文首次对 ChatGPT 的 Text-to-SQL（文本到 SQL）能力进行了综合分析。鉴于大规模对话语言模型 ChatGPT 近期的出现及其在对话能力和代码生成方面的惊人表现，我们旨在评估其 Text-to-SQL 性能。我们在 12 个具有不同语言、设置或场景的基准数据集上进行了实验，结果表明 ChatGPT 具备强大的文本到 SQL 能力。尽管与当前 SOTA（state-of-the-art，最优）模型性能仍有差距，但考虑到实验是在零样本场景下进行的，ChatGPT 的表现仍令人印象深刻。值得注意的是，在 ADVETA (RPL) 场景下，零样本 ChatGPT 甚至比需要在 Spider 数据集上微调的 SOTA 模型高出 4.1\%，展示了其在实际应用中的潜力。为支持相关领域进一步研究，我们已将 ChatGPT 生成的数据公开于 https://github.com/THU-BPM/chatgpt-sql。
引用
@article{arxiv.2303.13547,
title = {A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability},
author = {Aiwei Liu and Xuming Hu and Lijie Wen and Philip S. Yu},
journal= {arXiv preprint arXiv:2303.13547},
year = {2023}
}
备注
6 pages, 1 figures