基于检索增强的多模态模型用于假新闻检测
计算与语言
2026-04-30 v2 多媒体
摘要
近年来，多模态多域假新闻检测受到了越来越多的关注。然而，这一方向存在两个显著挑战：（1）无法捕获跨实例叙事一致性：现有模型通常单独评估每条新闻，无法捕获跨实例叙事一致性，因而难以应对由社交媒体驱动的基于聚类的假新闻的传播；（2）缺乏针对性知识进行推理：传统模型依赖于在训练期间编码在参数中的知识，难以推广到新型或数据稀缺的领域（例如新兴事件或细分主题）。为解决这些挑战，我们提出了基于检索增强的多模态模型用于假新闻检测（RAMM）。首先，RAMM 采用多模态大语言模型（MLLM）作为 backbone 来捕获新闻样本中的跨模态语义信息。其次，RAMM 融入了抽象叙事对齐模块，该组件会自适应地从不同领域的 diverse 实例中提取抽象叙事一致性，聚合相关知识，从而 enables 对高层次叙事信息进行建模。最后，RAMM 引入了语义表示对齐模块，该模块将模型的决策-making 范式与人类的决策过程对齐——具体而言，它将模型的推理过程从对多模态特征的直接推断，转变为基于实例的类比推理过程。在三个公开数据集上的大量实验结果验证了我们方法的有效性。我们的代码已提供如下链接：https://github.com/li-yiheng/RAMM
引用
@article{arxiv.2604.18112,
title = {Retrieval-Augmented Multimodal Model for Fake News Detection},
author = {Yiheng Li and Weihai Lu and Hanyi Yu and Yue Wang},
journal= {arXiv preprint arXiv:2604.18112},
year = {2026}
}
备注
Accepted to SIGIR 26