Insight-A: 面向多模态虚假信息检测的归因感知方法
计算与语言
2025-12-01 v1 计算机视觉与模式识别
摘要
AI 生成内容（AIGC）技术已成为社交媒体平台上创建多模态虚假信息的流行替代方案，构成前所未有的社会安全威胁。然而，标准的提示方法利用多模态大语言模型（MLLM）来识别新兴的虚假信息，忽略了虚假信息的归因问题。为此，我们提出 Insight-A，通过 MLLM 洞察进行归因，以检测多模态虚假信息。Insight-A 包含两个方面的努力：I) 将虚假信息归因于伪造来源，II) 采用分层推理的有效管道，检测跨模态的扭曲。具体而言，基于生成模式识别伪造痕迹，我们设计了跨归因提示（CAP），以建模感知与推理之间的复杂关联。同时，为减少人工标注提示的主观性，我们使用自动归因去偏提示（ADP）进行 MLLM 的任务适配。此外，我们设计了图像描述（IC），以获取视觉细节，增强跨模态一致性检查。广泛的实验结果表明，我们的方案优于现有方法，并为 AIGC 时代的多模态虚假信息检测提供了新范式。
引用
@article{arxiv.2511.21705,
title = {Insight-A: Attribution-aware for Multimodal Misinformation Detection},
author = {Junjie Wu and Yumeng Fu and Chen Gong and Guohong Fu},
journal= {arXiv preprint arXiv:2511.21705},
year = {2025}
}