arXiVeri：基于GPT的自动表格验证
计算与语言
2023-06-14 v1 人工智能
摘要
若不能准确转录科学文献中的数值数据，科学家便无法得出准确结论。遗憾的是，将数值数据从一篇论文抄录至另一篇的过程容易出现人为错误。本文中，我们提出通过自动表格验证（AutoTV）这一新任务来应对该挑战，其目标是借助交叉引用被引来源来验证表格中数值数据的准确性。为支持该任务，我们提出一个新基准arXiVeri，其包含从arXiv开放获取学术论文中提取的表格数据。我们引入指标以在两个关键方面评估表格验证器的性能：（i）表格匹配，旨在识别被引文档中与目标表格对应的源表格；（ii）单元格匹配，旨在定位目标与源表格间的共有单元格并准确识别其行、列索引。通过利用现代大语言模型（LLMs）的灵活能力，我们提出了用于表格验证的简单基线。我们的发现凸显了该任务的复杂性，即便对GPT-4这类最先进的LLM亦然。代码与基准将公开提供。
引用
@article{arxiv.2306.07968,
title = {arXiVeri: Automatic table verification with GPT},
author = {Gyungin Shin and Weidi Xie and Samuel Albanie},
journal= {arXiv preprint arXiv:2306.07968},
year = {2023}
}
备注
Tech report