基于在线资源的开放域、内容驱动、多模态失语境图像事实核查
计算机视觉与模式识别
2022-03-22 v3 计算与语言
计算机与社会
机器学习
摘要
由于其对我们核心民主与社会价值和秩序潜在的高风险，虚假信息现已成为一个重大问题。失语境（out-of-context）虚假信息是对手传播病毒式虚假故事最简单且有效的方式之一。在此类威胁中，真实图像被重新利用，通过歪曲其语境和/或元素来支持其他叙事。互联网正被用作借助不同来源与模态来验证信息的首选途径。我们的目标是提供一种可审查的方法，利用网络证据对图像- caption 配对进行事实核查，从而将这一耗时且推理密集的过程自动化。为整合来自两种模态的证据与线索，我们引入了“多模态循环一致性核查”的概念：从图像/ caption 出发，收集文本/视觉证据，并分别将其与配对的另一 caption/图像进行比对。此外，我们提出了一种新颖的架构——一致性核查网络（Consistency-Checking Network, CCN），它模拟了跨相同与不同模态的分层人类推理：caption 对比文本证据、图像对比视觉证据，以及图像对比 caption。我们的工作为开放域、内容驱动、多模态事实核查提供了第一步与基准，并且显著优于此前未利用外部证据的基线方法。
引用
@article{arxiv.2112.00061,
title = {Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources},
author = {Sahar Abdelnabi and Rakibul Hasan and Mario Fritz},
journal= {arXiv preprint arXiv:2112.00061},
year = {2022}
}
备注
CVPR'22