BIRDTurk：将 BIRD 文本 SQL 数据集适应土耳其语的工作
计算与语言
2026-02-04 v1 人工智能
数据库
摘要
文本 SQL 系统在英文基准上取得了显著成绩，但其在形态丰富、资源匮乏的语言中行为仍鲜有探索。我们介绍 BIRDTurk，土耳其语版本的 BIRD 基准数据集，通过受控翻译管道构建，schema 标识符适应土耳其语，同时严格保持 SQL 查询和数据库的逻辑结构和执行语义。翻译质量通过中心极限定理确定的样本大小进行验证，人工评估准确率达 98.15%。使用 BIRDTurk，我们评估了基于推理的提示、代理式多阶段推理和监督式微调。我们的结果显示，土耳其语引入了持续的性能下降，这源于结构性语言差异和在 LLM 预训练中出现的欠表示，同时代理式推理在跨语言鲁棒性方面表现更佳。监督式微调对标准多语言基线仍具挑战性，但随着现代指令调优模型的发展效果显著提升。BIRDTurk 提供了一个在真实数据库条件下进行跨语言文本 SQL 评估的受控测试环境。我们公开了训练和开发拆分，以支持未来研究。
引用
@article{arxiv.2602.03633,
title = {BIRDTurk: Adaptation of the BIRD Text-to-SQL Dataset to Turkish},
author = {Burak Aktaş and Mehmet Can Baytekin and Süha Kağan Köse and Ömer İlbilgi and Elif Özge Yılmaz and Çağrı Toraman and Bilge Kaan Görür},
journal= {arXiv preprint arXiv:2602.03633},
year = {2026}
}
备注
Accepted by EACL 2026 SIGTURK