COVE：面向无上下文图像的上下文与真实性预测
计算与语言
2025-02-04 v1
摘要
将图像从其原始上下文中取出是多模态误information 最常见的形式。揭霉点需要：（1）提供图像的真实上下文，（2）检查图像标题的真实性。然而，现有的自动事实核查方法未能同时解决这两个目标。本文引入COVE，一种新的方法，首先预测图像的真实 COntext，然后利用其预测标题的 VEracity。COVE 在所有 context 项目上均超过了 SOTA context prediction model，常常多出五个百分点。它在合成数据上与最佳 veracity prediction model 相当，在真实世界数据上则超过它们，表明将两个任务顺序组合是有益的。最后，我们进行的人类研究揭示，预测的上下文是一种可重用且可解释的 artifact，用于验证同一图像的新型无上下文标题。我们的代码和数据已公开。
引用
@article{arxiv.2502.01194,
title = {COVE: COntext and VEracity prediction for out-of-context images},
author = {Jonathan Tonglet and Gabriel Thiem and Iryna Gurevych},
journal= {arXiv preprint arXiv:2502.01194},
year = {2025}
}
备注
Camera-ready version accepted to NAACL 2025 Main Conference