基于图表图像的阅读与推理用于证据驱动的自动事实核查
计算与语言
2023-01-30 v1 计算机视觉与模式识别
摘要
自动事实核查（AFC）的证据数据可以是多种模态，如文本、表格、图像、音频或视频。尽管使用图像进行 AFC 的兴趣日益增长，先前工作大多聚焦于检测被操纵或虚假的图像。我们提出了一项新任务——基于图表的事实核查，并引入 ChartBERT 作为首个针对图表证据进行 AFC 的模型。ChartBERT 利用图表的文本、结构与视觉信息来确定文本声明的真实性。为评估，我们创建了 ChartFC，一个包含 15,886 个图表的新数据集。我们系统性地评估了 75 种不同的视觉-语言（VL）基线模型，表明 ChartBERT 优于 VL 模型，达到了 63.8% 的准确率。我们的结果表明该任务复杂但可行，且前方仍有诸多挑战。
引用
@article{arxiv.2301.11843,
title = {Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking},
author = {Mubashara Akhtar and Oana Cocarascu and Elena Simperl},
journal= {arXiv preprint arXiv:2301.11843},
year = {2023}
}
备注
Accepted to EACL 2023 (Findings)