多媒体场景下有害视觉内容操纵对误信息检测的影响
机器学习
2026-03-24 v1 人工智能
多媒体
摘要
当前，误信息在众多社交媒体平台上的广泛传播已对社会造成严重的负面影响. 为应对这一挑战，针对多媒体场景下的误信息自动检测获得了来自学术界和工业界的广泛关注，催生了称为多模态误信息检测(MMD)的研究任务. 通常，现有 MMD 方法侧重于捕捉不同模态之间的语义关系和不一致性，但常常忽视了多模态内容中的某些关键指示符. 最近的研究表明，社交媒体文章中视觉内容的操纵特征是 MMD 的宝贵线索. 同时，我们认为，操纵背后的潜在意图（例如有害或无害）也在 MMD 中发挥重要作用. 因此，本研究旨在通过捕捉两种类型的特征来识别此类多模态误信息：一种是表示视觉内容是否被操纵的操纵特征，另一种是评估这些操纵方式性质，以区分有害和无害意图的意图特征. 不幸的是，这些操纵和意图标签是未知的. 为解决这一问题，我们引入两个弱监督指标作为替代方案，通过融合专注于图像操纵检测的补充数据集，将两种不同的分类任务分别建模为正样本和未标记样本学习问题. 通过该框架，我们提出了一种创新的 MMD 方法，称为 Harmful Visual Content Manipulation Matters in MMD (HAVC-M4 D). 在四个流行的 MMD 数据集上进行的全面实验表明，HAVC-M4 D 显著且持续地提升了现有 MMD 方法的性能.
引用
@article{arxiv.2603.21054,
title = {Harmful Visual Content Manipulation Matters in Misinformation Detection Under Multimedia Scenarios},
author = {Bing Wang and Ximing Li and Changchun Li and Jinjin Chi and Tianze Li and Renchu Guan and Shengsheng Wang},
journal= {arXiv preprint arXiv:2603.21054},
year = {2026}
}