Text2Analysis：具有高级数据分析和模糊查询的表格问答基准
计算与语言
2023-12-22 v1 机器学习
摘要
表格数据分析在各个领域至关重要，大型语言模型在该领域展现出巨大潜力。然而，当前研究大多集中于 Text2SQL 和 TableQA 等基础任务，忽视了预测和图表生成等高级分析。为填补这一空白，我们开发了 Text2Analysis 基准，纳入了超越 SQL 兼容操作且需要更深入分析的高级分析任务。我们还开发了五种创新且有效的标注方法，利用大型语言模型的能力来提升数据质量和数量。此外，我们包含了类似真实世界用户提问的模糊查询，以测试模型理解和应对此类挑战的能力。最后，我们收集了包含 347 个表格的 2249 个查询 - 结果对。我们使用三种不同指标评估了五个最先进（SOTA）模型，结果表明我们的基准在表格数据分析领域提出了重大挑战，为更高级的研究机会铺平了道路。
引用
@article{arxiv.2312.13671,
title = {Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries},
author = {Xinyi He and Mengyu Zhou and Xinrun Xu and Xiaojun Ma and Rui Ding and Lun Du and Yan Gao and Ran Jia and Xu Chen and Shi Han and Zejian Yuan and Dongmei Zhang},
journal= {arXiv preprint arXiv:2312.13671},
year = {2023}
}
备注
Accepted by AAAI'2024