有害操作图像在多模态误信息检测中的重要性
计算与语言
2024-07-30 v1 计算机视觉与模式识别
多媒体
摘要
如今，误信息在各种社交媒体平台上广泛传播，对社会产生极大的负面影响。为此，自动识别包含多模态内容的误信息已引起学术界和产业界日益关注，催生了名为多模态误信息检测（MMD）的活跃研究主题。典型地，现有MMD方法捕捉多个模态之间的语义关联与不一致，但忽略了多模态内容中潜在的线索。最近的研究表明，文章中被操作的图像的痕迹对于检测误信息具有重要意义。同时，我们发现，操作背后的意图（例如有害或无害）在MMD中也很重要。因此，本文提出通过学习指示图像是否被操作的操纵特征，以及关于操纵意图（有害或无害）的意图特征来检测误信息。由于操纵和意图标签使这些特征具备判别性，却是未知的。为克服这一问题，本文提出两种弱监督信号作为替代方案，通过引入图像操纵检测的额外数据集并将两个分类任务形式化为正样本和未标记样本学习问题。基于这些思想，我们提出一种新型MMD方法，即以“有害操作图像 matters in MMD”命名的HAMI-M3D。广泛的实验在三个基准数据集上表明，HAMI-M3D可以持续地提高任何MMD基线方法的性能。
引用
@article{arxiv.2407.19192,
title = {Harmfully Manipulated Images Matter in Multimodal Misinformation Detection},
author = {Bing Wang and Shengsheng Wang and Changchun Li and Renchu Guan and Ximing Li},
journal= {arXiv preprint arXiv:2407.19192},
year = {2024}
}
备注
Accepted by ACM MM 2024. Code: https://github.com/wangbing1416/HAMI-M3D