LLMSQL：为大语言模型时代升级的 WikiSQL
计算与语言
2025-12-10 v2 人工智能
摘要
将自然语言问题转换为 SQL 查询使非专业用户能够与关系型数据库交互，长期以来一直是自然语言数据界面核心任务。虽然 WikiSQL 数据集在早期文本到 SQL 研究中发挥了关键作用，但由于结构和标注问题（包括大小写不一致、数据类型不匹配、语法错误以及未解答问题），其使用率已显著下降。我们提出 LLMSQL，这是为大语言模型时代系统性修订和转换的 WikiSQL。我们对这些错误进行分类，并实现了自动清理和重新标注方法。为评估这些改进的影响，我们评估了多种大语言模型，包括 Gemma 3、LLaMA 3.2、Mistral 7B、gpt-oss 20B、Phi-3.5 Mini、Qwen 2.5、OpenAI o4-mini、DeepSeek-R1 等。值得注意的是，DeepSeek-R1 在零样本设置下达到了 88.40% 的准确率，参数不足 10B 的模型在微调后准确率可超过 90%。与原始 WikiSQL 针对选择输入中标记的指针网络模型不同，LLMSQL 提供干净的自然语言问题和作为纯文本的完整 SQL 查询，使其为现代自然语言到 SQL 模型提供了简洁的生成和评估方式。
引用
@article{arxiv.2510.02350,
title = {LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL},
author = {Dzmitry Pihulski and Karol Charchut and Viktoria Novogrodskaia and Jan Kocoń},
journal= {arXiv preprint arXiv:2510.02350},
year = {2025}
}
备注
To appear in the Proceedings of the IEEE International Conference on Data Mining Workshops (ICDMW)