Archer：一个包含算术、常识和假设推理的人工标注 Text-to-SQL 数据集
计算与语言
2024-02-27 v2
摘要
我们提出了 Archer，这是一个针对复杂推理（包括算术、常识和假设推理）的具有挑战性的双语 text-to-SQL 数据集。它包含 1,042 个英语问题和 1,042 个中文问题，以及 521 个独特的 SQL 查询，涵盖 20 个领域的 20 个英语数据库。值得注意的是，与现有的公开数据集相比，该数据集显示出显著更高的复杂性水平。我们的评估表明，Archer 对当前最先进模型的能力提出了挑战，Spider 排行榜上排名靠前的模型在 Archer 测试集上的执行准确率仅为 6.73%。因此，Archer 为该领域的未来研究提出了重大挑战。
引用
@article{arxiv.2402.12554,
title = {Archer: A Human-Labeled Text-to-SQL Dataset with Arithmetic, Commonsense and Hypothetical Reasoning},
author = {Danna Zheng and Mirella Lapata and Jeff Z. Pan},
journal= {arXiv preprint arXiv:2402.12554},
year = {2024}
}
备注
EACL 2024