CMIE：结合 MLLM 洞察与外部证据的可解释脱离上下文虚假信息检测
多媒体
2025-10-28 v3 计算机视觉与模式识别
信息检索
摘要
多模态大语言模型（MLLM）在视觉推理和文本生成方面展现了令人瞩目的能力。尽管先前的研究已经探索了 MLLM 在检测脱离上下文（OOC）虚假信息中的应用，但我们的实证分析揭示了该范式持续存在的两个挑战。在直接推理和证据增强推理上对具有代表性的 GPT-4o 模型进行评估，结果表明 MLLM 难以捕捉更深层次的关系——特别是图像与文本之间没有直接联系，而是通过潜在语义链接相关联的情况。此外，证据中的噪声进一步损害了检测准确性。为了应对这些挑战，我们提出了 CMIE，一个新颖的 OOC 虚假信息检测框架，它结合了共存关系生成（CRG）策略和关联评分（AS）机制。CMIE 识别图像与文本之间潜在的共存关系，并选择性地利用相关证据来增强虚假信息检测。实验结果表明，我们的方法优于现有方法。
引用
@article{arxiv.2505.23449,
title = {CMIE: Combining MLLM Insights with External Evidence for Explainable Out-of-Context Misinformation Detection},
author = {Fanxiao Li and Jiaying Wu and Canyuan He and Wei Zhou},
journal= {arXiv preprint arXiv:2505.23449},
year = {2025}
}