检测新闻中脱离语境的图像-标题对：一种反直觉方法
计算机视觉与模式识别
2023-09-01 v1
摘要
社交媒体与新闻中错误信息及重新语境化媒体的增长导致对事实核查方法的需求日益增加。同时，生成模型的进步使得 cheapfake 与 deepfake 既更易制作也更难检测。本文提出一种利用生成图像模型优势来检测新闻中图像-标题对脱离语境（OOC）使用的新方法。我们呈现了两个新数据集，共包含使用两种不同的生成模型生成的 张图像，包括（1）DALL-E 2 与（2）Stable-Diffusion。我们确信本文提出的方法能进一步推动生成模型在 cheapfake 检测领域的研究，且所得数据集可用于训练和评估旨在检测 cheapfake 的新模型。我们进行了初步的定性与定量分析，以评估各图像生成模型在此任务上的性能，并评估了若干计算图像相似度的方法。
引用
@article{arxiv.2308.16611,
title = {Detecting Out-of-Context Image-Caption Pairs in News: A Counter-Intuitive Method},
author = {Eivind Moholdt and Sohail Ahmed Khan and Duc-Tien Dang-Nguyen},
journal= {arXiv preprint arXiv:2308.16611},
year = {2023}
}
备注
ACM International Conference on Content-Based Multimedia Indexing (CBMI '23)