SQLong：面向更长上下文的增强型 LLM 驱动自然语言转 SQL
计算与语言
2025-05-21 v2 人工智能
机器学习
软件工程
摘要
开源大语言模型（LLM）在自然语言转 SQL（NL2SQL）任务中显著提升了性能。然而，在处理大型数据库模式时，其有效性会随着上下文长度的增加而下降。为解决这一局限，我们提出了 SQLong，一个新颖且高效的数据增强框架，旨在增强 LLM 在长上下文场景下的 NL2SQL 任务表现。SQLong 通过扩展现有数据库模式，添加额外的合成 CREATE TABLE 命令及相应的数据行（从训练数据中的多种模式中采样），来生成增强数据集。该方法在微调与评估过程中有效模拟了长上下文场景。在 Spider 和 BIRD 数据集上的实验表明，使用 SQLong 增强数据微调的 LLM 显著优于在标准数据集上训练的模型。这体现了 SQLong 的实际可行性及其在真实世界中复杂数据库模式下提升 NL2SQL 能力的影响。
引用
@article{arxiv.2502.16747,
title = {SQLong: Enhanced NL2SQL for Longer Contexts with LLMs},
author = {Dai Quoc Nguyen and Cong Duy Vu Hoang and Duy Vu and Gioacchino Tangari and Thanh Tien Vu and Don Dharmasiri and Yuan-Fang Li and Long Duong},
journal= {arXiv preprint arXiv:2502.16747},
year = {2025}
}
备注
Accepted to Table Representation Learning Workshop at ACL 2025