面向缺失模态情境的 MLLMs 中基于注意力头的模态专化以实现鲁棒虚假新闻检测
计算机视觉与模式识别
2026-04-14 v1 计算与语言
摘要
多模态虚假新闻检测（MFND）旨在通过联合利用文本和视觉证据来验证新闻可信度。然而，现实中的新闻传播常因被删除的图片、损坏的屏幕截图等问题导致模态缺失。因此，需要保持每个模态的强大验证能力才能在此情境下实现稳健检测，而这在 MFND 中由于对低贡献模态的学习不足以及稀缺的单模态标注而具有挑战。为此，我们提出了一种用于面向缺失模态的 MLLMs 中的 Head-wise Modality Specialization（基于注意力头的模态专化）以实现稳健的 MFND。具体而言，我们首先系统性地研究了 MLLMs 中的注意力头及其与缺失模态情境下性能之间的关系，表明模态关键注意力头通过其模态专化充当单模态验证能力的关键载体。基于此观察，我们引入了基于注意力头的专化机制，显式地将这些头分配给不同模态，并通过 lower-bound attention 约束来保持其专化。此外，我们提出了单模态知识保留策略，以防止这些头在有限监督下学习的单模态知识中漂移。实验表明，我们的方法在缺失模态情境下提升了鲁棒性，同时在拥有完整多模态输入时保持了性能。
引用
@article{arxiv.2604.09711,
title = {Head-wise Modality Specialization within MLLMs for Robust Fake News Detection under Missing Modality},
author = {Kai Qian and Weijie Shi and Jiaqi Wang and Mengze Li and Hao Chen and Yue Cui and Hanghui Guo and Ziyi Liu and Jia Zhu and Jiajie Xu},
journal= {arXiv preprint arXiv:2604.09711},
year = {2026}
}