LogicCat：面向复杂推理的链式思维文本到 SQL 基准
计算与语言
2026-05-29 v3
摘要
文本到 SQL 是自然语言处理中的关键任务，旨在将自然语言问题转换为准确可执行的 SQL 查询。在实际场景中，这类推理任务通常伴随复杂的数学计算、领域知识以及假设情景。然而，现有的大规模文本到 SQL 数据集通常侧重于商业逻辑和任务逻辑，忽略了诸如垂直领域知识、复杂数学推理和假设推理等关键因素，这些因素对于真实反映实际应用中的推理需求和完成数据查询与分析至关重要。为弥合这一差距，我们引入 LogicCat，这是第一个专为复杂推理和链式思维解析设计的文本到 SQL 基准数据集，涵盖物理、算术、常识和假设推理情景。LogicCat 包含 4,038 个英文问题配以 12,114 条详细的链式思维推理步骤，涵盖 45 个不同领域的数据库，显著超过现有数据集的复杂度。实验结果表明，LogicCat 在当前最先进模型上最大提升至 33.20% 的执行准确率，表明此任务仍异常具有挑战性。LogicCat 的推出标志着为开发适用于真实世界企业数据分析和自主查询生成系统的迈出了关键一步。我们已在 https://github.com/Ffunkytao/LogicCat 上发布数据集代码。
引用
@article{arxiv.2505.18744,
title = {LogicCat: A Chain-of-Thought Text-to-SQL Benchmark for Complex Reasoning},
author = {Tao Liu and Xutao Mao and Hongying Zan and Dixuan Zhang and Yifan Li and Haixin Liu and Lulu Kong and Jiaming Hou and Rui Li and YunLong Li and aoze zheng and Zhiqiang Zhang and Luo Zhewei and Kunli Zhang and Min Peng},
journal= {arXiv preprint arXiv:2505.18744},
year = {2026}
}
备注
9 pages, 5 figures