基于因果干预的多模态假新闻检测中的去偏推理
多媒体
2025-04-15 v1 机器学习
摘要
社交媒体的快速增长导致虚假新闻在包括文本、图像、音频和视频在内的多种内容形式中广泛传播。传统的单模态检测方法不足以解决复杂的跨模态操纵问题，因此多模态假新闻检测 emerged 作为更有效的解决方案。然而，现有的多模态方法，特别是在社交媒体上进行的假新闻检测中，常常忽略了复杂跨模态相互作用中隐藏的混杂因素，导致模型依赖于而非真正因果机制的虚假统计相关性。在本文中，我们提出了基于因果干预的多模态去偏检测（CIMDD）框架，通过统一的结构因果模型（SCM）系统性地建模三种类型的混杂因素：（1）词汇语义混杂因素（LSC）；（2）潜在视觉混杂因素（LVC）；（3）动态跨模态耦合混杂因素（DCCC）。为缓解这些混杂因素的影响，我们特别设计了基于反向调整、前向调整和跨模态联合干预的三个因果模块，以从不同角度阻止虚假相关性，实现表示的因果解耦，以进行去偏推理。在 FakeSV 和 FVC 数据集上的实验结果表明，CIMDD 在检测准确率上显著优于最先进的方法，分别提升了 4.27% 和 4.80%。此外，大量实验结果表明，CIMDD 在多样化的多模态场景中表现出强大的泛化性和鲁棒性。
引用
@article{arxiv.2504.09163,
title = {Deconfounded Reasoning for Multimodal Fake News Detection via Causal Intervention},
author = {Moyang Liu and Kaiying Yan and Yukun Liu and Ruibo Fu and Zhengqi Wen and Xuefei Liu and Chenxing Li},
journal= {arXiv preprint arXiv:2504.09163},
year = {2025}
}