面向不完整模态的鲁棒性强的多模态虚假信息识别
多媒体
2025-10-15 v3 计算机视觉与模式识别
摘要
多模态虚假信息识别因社交媒体平台上海量虚假多模态内容的涌现而成为紧迫任务。以往研究主要聚焦于复杂的特征提取与融合，以学习判别性信息。然而，在现实应用中，多媒体新闻在传播过程中可能自然丢失某些信息，导致模态不完整，这对现有模型的泛化性和鲁棒性不利。为此，我们提出一种新型通用且高效的多模态融合策略，称为Multi-expert Modality-incomplete Learning Network（MMLNet），其简单而有效。它包含三个关键步骤：（1）多专家协同推理，通过动态利用补充信息来弥补缺失的模态；（2）不完整模态适配器通过利用新的特征分布来弥补缺失信息；（3）模态缺失学习利用标签感知的自适应加权策略进行对比学习，以学习稳健的表示。我们在三个真实世界的基准测试中对MMLNet进行评估，跨越两个语言，显示出优于当前最先进方法的优越性能，同时保持相对简单性。通过确保在由信息传播导致的模态不完整场景下实现虚假信息识别的准确性，MMLNet有效遏制了恶意虚假信息的传播。代码已公开available at https://github.com/zhyhome/MMLNet。
引用
@article{arxiv.2510.05839,
title = {Towards Robust and Realible Multimodal Misinformation Recognition with Incomplete Modality},
author = {Hengyang Zhou and Yiwei Wei and Jian Yang and Zhenyu Zhang},
journal= {arXiv preprint arXiv:2510.05839},
year = {2025}
}