SPARTA：面向文本和表格的可扩展且原则化的树结构多跳问答基准
摘要
现实世界的表格-文本问答任务需要能够跨越长文本和来源表格进行推理，遍历多个跳点，并执行诸如聚合等复杂操作。然而，现有基准规模小，由人工精选——因此可能出错——且包含浅层问题，很少需要超过两跳或调用聚合、分组或其他可由自然语言查询表达的高级分析操作。我们提出 SPARTA，一个自动生成大规模表格-文本问答基准的端到端构建框架，采用轻量级人工验证，仅需 HybridQA 的四分之一标注时间。该框架首先通过为每个来源表格添加包含来自伴随非结构化段落中自动提取的原子事实的锚定表格来构建参考事实数据库，然后合成具有所需跳数的嵌套查询。为确保每个 SQL 语句可执行且其 verbalization 产生流畅、符合人类语言习惯的问句，我们提出了两种新技术：基于来源的细化，该技术会重写任何返回非空结果的语法有效查询；以及现实结构强制，该技术将生成限制在查询图的后序遍历中。 resulting pipeline produces thousands of high-fidelity question-answer pairs covering aggregations, grouping, and deep multi-hop reasoning across text and tables. On SPARTA, state-of-the-art models that reach over 70 F1 on HybridQA or over 50 F1 on OTT-QA drop by more than 30 F1 points, exposing fundamental weaknesses in current cross-modal reasoning. Our benchmark, construction code, and baseline models are available at https://github.com/pshlego/SPARTA/tree/main.
引用
@article{arxiv.2602.23286,
title = {SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables},
author = {Sungho Park and Jueun Kim and Wook-Shin Han},
journal= {arXiv preprint arXiv:2602.23286},
year = {2026}
}
备注
10 pages, 5 figures. Published as a conference paper at ICLR 2026. Project page: https://sparta-projectpage.github.io/