SPFT-SQL：通过自对弈微调提升大型语言模型的文本到 SQL 解析能力
计算与语言
2025-10-14 v2 人工智能
摘要
尽管自对弈微调（SPIN）在将弱大的大型语言模型（LLM）转化为强大的模型方面取得了显著的进展，但在文本到 SQL 任务中仍面临挑战。SPIN 不会生成新信息，而且在自对弈过程中，来自对手模型产生的大量正确 SQL 查询会降低主模型生成准确 SQL 查询的能力。为解决这一挑战，我们提出了一种专为文本到 SQL 任务设计的新型自对弈微调方法，称为 SPFT-SQL。在自对弈之前，我们引入一种基于验证的迭代微调方法，根据数据库模式和验证反馈迭代合成高质量的微调数据以提升模型性能，同时构建具备不同能力的模型库。在自对弈微调阶段，我们提出一种错误驱动的损失方法，激励来自对手模型的错误输出，使主模型能够区分来自对手模型生成的正确 SQL 与错误 SQL，从而提高其生成准确 SQL 的能力。在六个开源 LLM 和五个广泛使用的基准测试上的大量实验和深入分析表明，我们的方法在性能上优于现有的领先方法。
引用
@article{arxiv.2509.03937,
title = {SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning},
author = {Yuhao Zhang and Shaoming Duan and Jinhang Su and Chuanyi Liu and Peiyi Han},
journal= {arXiv preprint arXiv:2509.03937},
year = {2025}
}
备注
EMNLP 2025 Findings