基于概率概念图的多模态虚假信息检测
计算机视觉与模式识别
2026-03-27 v1 计算与语言
摘要
多模态虚假信息正日益增加，常常能混淆传统检测器。这些检测器是黑箱且对新型操纵策略脆弱。我们提出了概率概念图推理（PCGR）框架，该框架具备可解释性和可演化性，将多模态虚假信息检测（MMD）重新定义为结构化且基于概念的推理任务。PCGR遵循构建-推断范式，首先构建由人类可理解的概念节点构成的图，包括由多模态大语言模型（MLLM）自动发现并验证的新型高层概念，然后对该概念图应用层次化注意力机制以推断主张真实性。该设计产生将证据与结论关联的可解释推理链。实验表明，PCGR在多模态虚假信息检测方面实现了最先进的准确率和对新型操纵类型的鲁棒性，优于现有方法在粗粒度检测和细粒度操纵识别方面的表现。
引用
@article{arxiv.2603.25203,
title = {Probabilistic Concept Graph Reasoning for Multimodal Misinformation Detection},
author = {Ruichao Yang and Wei Gao and Xiaobin Zhu and Jing Ma and Hongzhan Lin and Ziyang Luo and Bo-Wen Zhang and Xu-Cheng Yin},
journal= {arXiv preprint arXiv:2603.25203},
year = {2026}
}
备注
Accepted by CVPR 2026