通过蒸馏定制化增强NL2SQL: Distill-C
计算与语言
2025-04-02 v1 人工智能
摘要
大型语言模型(LLM)在商业应用中的采用不断增长,这放大了对Natural Language to SQL(NL2SQL)解决方案的兴趣,其中存在对高性能和效率之间的竞争需求。域和客户特定的要求进一步使问题复杂化。为解决这一困境,我们引入Distill-C,一个针对NL2SQL任务的蒸馏定制化框架。Distill-C利用大型教师LLM通过稳健且可扩展的管道生产高质量合成数据。对小型且开源LLM在这些合成数据上进行微调,使其能够与三个不同LLM家族的基线模型相抗衡或超越,规模大约是其中的10倍。在多个具有挑战性的基准测试中评估,Distill-C在执行准确率方面平均提高了36%。此外,在三个内部客户基准测试中,Distill-C相对于基线模型实现了22.6%的性能提升。我们的结果表明,Distill-C是一种有效、高性能且通用的NL2SQL模型部署方法,在保持低计算成本的同时提供卓越的准确性。
引用
@article{arxiv.2504.00048,
title = {Distill-C: Enhanced NL2SQL via Distilled Customization with LLMs},
author = {Cong Duy Vu Hoang and Gioacchino Tangari and Clemence Lanfranchi and Dalu Guo and Paul Cayet and Steve Siu and Don Dharmasiri and Yuan-Fang Li and Long Duong and Damien Hilloulin and Rhicheek Patra and Sungpack Hong and Hassan Chafi},
journal= {arXiv preprint arXiv:2504.00048},
year = {2025}
}
备注
Preprint, accepted at NAACL 2025 (Industry Track)