通过链路思考微调优化小型语言模型用于 NL2SQL
人工智能
2026-03-25 v1
摘要
将自然语言翻译为 SQL (NL2SQL) 仍是企业数据民主化的关键瓶颈。尽管大型语言模型 (LLM) 如 Gemini 2.5 及其他 LLM 显示出惊人的零样能力，但其高昂的推理成本限制了大规模部署。本文探讨了在 NL2SQL 任务上对大型和小型语言模型进行微调的效果。我们的研究发现了一个反直觉的规模现象：在标准数据集上对大型模型（Gemini 2.5 Flash/Lite）进行微调几乎没有收益，常导致对复杂查询过拟合。相反，小型模型（Qwen）显示出显著的提升。微调后，小型模型基线准确率从 36% 提升至 45%，进一步通过丰富数据集中的显式链路思考 (Chain-of-Thought, CoT) 推理，准确率飙升至 54.5%（图 2）。虽然这仍低于大型模型如 Gemini 2.5 的准确率，但它实现了显著的成本降低、推理时延以及满足业务关键性能准确阈值的目标。本文表明，通过传递推理模式，计算效率更高的小型模型能够接近生产级性能。
引用
@article{arxiv.2603.22942,
title = {Optimizing Small Language Models for NL2SQL via Chain-of-Thought Fine-Tuning},
author = {Anshul Solanki and Sanchit Latawa and Koushik Chakraborty and Navneet Kamboj},
journal= {arXiv preprint arXiv:2603.22942},
year = {2026}
}
备注
9 pages , 3 fifures