“图像，说说你的故事”：预测视觉虚假信息的原始元语境

为帮助人类事实核查者，研究者们发展了自动化的视觉虚假信息检测方法。这些方法通过识别图像与标题之间的不一致性，或检测图像伪造情况来赋值确性评分。然而，这些方法忽略了一个关键点：人类事实核查过程中的识别图像原始元语境。通过阐述图像实际上真实的事实，事实核查者能够更好地检测虚假信息，将资源集中在值得检查的视觉内容上，以及在虚假信息广泛传播之前进行反驳，并使解释更具说服力。本文通过引入自动化图像语境化任务来填补这一空白。我们构建了 5Pils 数据集，包含 1,676 条事实核查过的图像，配有关于其原始元语境的问答对。注释依据 5 Pillars 事实核查框架进行。我们实现了一个基线方法，通过图像内容和从开放网络检索的文本证据来将图像置于其原始元语境中。我们的实验显示出有前景的结果，同时也揭示了检索和推理中的若干开放挑战。我们将代码和数据公开于网络。