科学表格的表格问答模型有多鲁棒？基于定制数据集的研究
计算与语言
2024-04-02 v1
摘要
针对混合科学表格和文本数据的问答（QA）处理科学信息，并依赖复杂的数值推理。近年来，虽然表格 QA 取得了快速进展，但由于缺乏任何基准数据集，对它们在科学信息上的鲁棒性理解仍然不足。为了研究现有 SOTA QA 模型在科学混合表格数据上的鲁棒性，我们提出了一个新数据集“SciTabQA”，包含来自科学表格及其描述的 822 个问答对。借助该数据集，我们评估了 SOTA 表格 QA 模型的能力：(i) 使用需要结构化数据（表格）和非结构化数据（文本）的异构信息，以及 (ii) 执行复杂的科学推理任务。本质上，我们检验了模型解释科学表格和文本的能力。我们的实验表明，“SciTabQA”是一个用于研究科学异构数据问答的创新数据集。我们对三个 SOTA 表格 QA 模型进行了基准测试，发现最佳 F1 分数仅为 0.462。
引用
@article{arxiv.2404.00401,
title = {How Robust are the Tabular QA Models for Scientific Tables? A Study using Customized Dataset},
author = {Akash Ghosh and B Venkata Sahith and Niloy Ganguly and Pawan Goyal and Mayank Singh},
journal= {arXiv preprint arXiv:2404.00401},
year = {2024}
}