多模态假新闻检测：MFND数据集与浅-深多任务学习
计算机视觉与模式识别
2025-05-13 v1
摘要
多模态新闻包含丰富信息，容易受到深度伪造建模攻击。为对抗最新的图像和文本生成方法，我们提出一个新的多模态假新闻检测数据集(MFND)，包含11种操纵类型，旨在检测和定位高度逼真的假新闻。此外，我们提出一种浅-深多任务学习(SDML)模型，用于假新闻检测，充分利用单模态和互模态特征来挖掘新闻的内在语义。在浅层推断下，我们提出基于动量蒸馏的轻型惩罚对比学习，用于细粒度统一的空间图像和文本语义对齐，并提出自适应跨模态融合模块以增强互模态特征。在深层推断下，我们设计双分支框架来增强图像和文本单模态特征，分别与互模态特征融合，通过专门的检测和局部投影进行四种预测。在主流数据集和我们提出的数据集上的实验表明，该模型优于现有方法。代码和数据集已发布于 https://github.com/yunan-wang33/sdml。
引用
@article{arxiv.2505.06796,
title = {Multimodal Fake News Detection: MFND Dataset and Shallow-Deep Multitask Learning},
author = {Ye Zhu and Yunan Wang and Zitong Yu},
journal= {arXiv preprint arXiv:2505.06796},
year = {2025}
}
备注
Accepted by IJCAI 2025