FACTIFY3M: 通过5W问答实现可解释多模态事实核查的基准数据集
计算与语言
2023-11-01 v2 人工智能
计算机视觉与模式识别
多媒体
摘要
打击虚假信息是当前紧迫的社会危机之一——约67%的美国民众认为虚假信息造成了大量不确定性,其中10%的人会故意传播虚假信息。证据表明,虚假信息可操纵民主进程与公众舆论,引发股市动荡、社会恐慌与焦虑,甚至在危机中导致死亡。因此,应及时识别虚假信息,并尽可能予以缓解。随着社交媒体平台每日约分享32亿张图像和72万小时视频,可扩展的多模态虚假信息检测需要高效的事实核查。尽管基于文本的自动事实核查(如FEVER、LIAR)已取得进展,但研究界在多模态事实核查方面仍缺乏实质性努力。为弥补这一空白,我们推出FACTIFY 3M,一个包含300万样本的数据集,通过多模态假新闻数据集拓展了事实核查领域的边界,并借助5W问答概念提供可解释性。该数据集的显著特征包括:(i)文本声明,(ii)ChatGPT生成的改写声明,(iii)关联图像,(iv)stable diffusion生成的附加图像(即视觉改写),(v)像素级图像热力图以促进声明图文可解释性,(vi)5W问答对,以及(vii)对抗性假新闻故事。
引用
@article{arxiv.2306.05523,
title = {FACTIFY3M: A Benchmark for Multimodal Fact Verification with Explainability through 5W Question-Answering},
author = {Megha Chakraborty and Khushbu Pahwa and Anku Rani and Shreyas Chatterjee and Dwip Dalal and Harshit Dave and Ritvik G and Preethi Gurumurthy and Adarsh Mahor and Samahriti Mukherjee and Aditya Pakala and Ishan Paul and Janvita Reddy and Arghya Sarkar and Kinjal Sensharma and Aman Chadha and Amit P. Sheth and Amitava Das},
journal= {arXiv preprint arXiv:2306.05523},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2305.04329