基于注意力图神经网络的证据导向多模态虚假信息检测
机器学习
2025-05-27 v1 人工智能
计算与语言
信息检索
摘要
多模态超出语境（OOC）虚假信息是指将真实图像与无关或误导性标题重新配对的虚假信息。由于需要在检查虚假信息前解决主张的语境问题，因此检测此类虚假信息具有挑战性。许多当前方法，包括大语言模型（LLM）和大视觉语言模型（LVLM），未执行此种语境化步骤。缺乏语境或参数知识时，LLM会出现幻觉。本文提出一种基于图的方法，通过构建两种图表示来评估图像与标题之间的一致性：一种来自在线文本证据的证据图，一种来自标题中主张的主张图。使用图神经网络（GNN）对这些表示进行编码和比较，我们的框架随后评估图像-标题对的真实性。我们为该图基方法创建数据集，并在虚假信息检测任务上评估并比较基线模型与流行的LLM。本方法在评估集上达到93.05%的检测准确率，超越第二名表现更好的方法（一种LLM）2.82%，为 smaller and task-specific 方法提供了依据。
引用
@article{arxiv.2505.18221,
title = {Evidence-Grounded Multimodal Misinformation Detection with Attention-Based GNNs},
author = {Sharad Duwal and Mir Nafis Sharear Shopnil and Abhishek Tyagi and Adiba Mahbub Proma},
journal= {arXiv preprint arXiv:2505.18221},
year = {2025}
}