端到端多模态事实核查与解释生成：一个具有挑战性的数据集与模型
计算与语言
2023-07-10 v2
摘要
我们提出端到端多模态事实核查与解释生成，其中输入为一个声明和包括文章、图像、视频和推文的大规模网络来源集合，目标是通过检索相关证据并预测真实性标签（如支持、反驳或信息不足）来评估声明的真实性，并生成一段陈述以总结和解释推理与裁决过程。为支持该研究，我们构建了 Mocheg，一个由 15,601 个声明组成的大规模数据集，其中每个声明标注有真实性标签和裁决陈述，以及总共 33,880 个文本段落和 12,112 张图像作为证据。为在 Mocheg 上建立基线性能，我们在三个流水线子任务上实验了几种最先进的神经架构：多模态证据检索、声明验证和解释生成，并表明最先进的端到端多模态事实核查的性能未提供令人满意的结果。据我们所知，我们是首个构建端到端多模态事实核查与解释生成的基准数据集与解决方案的。数据集、源代码和模型检查点可在 https://github.com/VT-NLP/Mocheg 获取。
引用
@article{arxiv.2205.12487,
title = {End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models},
author = {Barry Menglong Yao and Aditya Shah and Lichao Sun and Jin-Hee Cho and Lifu Huang},
journal= {arXiv preprint arXiv:2205.12487},
year = {2023}
}
备注
Accepted by SIGIR 23, 11 pages, 4 figures