ROUTE：面向文本到 SQL 的鲁棒多任务调优与协作
计算与语言
2025-05-27 v3 人工智能
摘要
尽管大语言模型(LLM)推动了文本到 SQL(Text2SQL)领域取得显著进展，但最新的 SOTA 技术仍局限于闭源 LLM(如 GPT-4)的零样学习，限制了其在开放场景中的应用。为此，我们提出了一种新方法，即 RObust mUltitask Tuning and collaboration mEthod(ROUTE)，以提高开源 LLM 在 Text2SQL 方面的综合能力，提供更加实用的解决方案。我们的方法首先使用与 SQL 生成相关的各种合成训练数据进行多任务监督微调(SFT)。不同于现有的 SFT-based Text2SQL 方法，我们引入了若干额外的 SFT 任务，包括模式链接、噪声纠正和续写。参与多种 SQL 生成任务的训练显著增强了模型对 SQL 语法的理解，并提高了其生成高质量 SQL 查询的能力。此外，借鉴 LLM 智能体的协作模式，我们引入了多任务协作提示策略(MCP)。该策略利用跨多个 SQL 相关任务的协作，减少 SQL 生成过程中的幻觉，从而最大化通过显式多任务能力提升 Text2SQL 性能的潜力。我们在八个开源 LLM 和五个广泛使用的基准测试上进行了大量实验和深入分析。结果表明，我们的方案超越了最新的 Text2SQL 方法，实现了领先的性能。
引用
@article{arxiv.2412.10138,
title = {ROUTE: Robust Multitask Tuning and Collaboration for Text-to-SQL},
author = {Yang Qin and Chao Chen and Zhihang Fu and Ze Chen and Dezhong Peng and Peng Hu and Jieping Ye},
journal= {arXiv preprint arXiv:2412.10138},
year = {2025}
}