一致性陷阱：当MLLM生成的叙事利用操控的视觉语境
计算机视觉与模式识别
2026-03-16 v4
摘要
多媒体操控的检测与定位已成为对抗AI生成虚假信息的关键挑战。虽然现有方法近年来取得了进展，但我们识别出当前方法存在两个根本性局限：(1) 低估了 MLLM 驱动的欺骗风险：现有方法主要针对基于规则的文本操控，却未能考虑到多模态大语言模型 (MLLMs) 的复杂虚假信息，这些模型能够根据操控图像动态生成语义连贯、语境上合理但具有欺骗性的叙事；(2) 不真实的错位伪影：当前关注的场景依赖于缺乏语义连贯性的人工错位内容，使其易于被检测。为全面解决这些缺口，我们提出了一种利用 MLLMs 生成高风险虚假信息的对抗流水线。我们的方法始于构建 MLLM 驱动的合成多模态 (MDSM) 数据集，其中图像首先使用最先进的编辑技术进行修改，然后与保持与视觉操控语义一致性的 MLLM 生成的欺骗性文本配对。在此基础上，我们提出了伪影感知操控诊断通过 MLLM (AMD) 框架，其包含两个关键创新：伪影预感知编码策略和操控导向推理，以驾驭 MLLMs 来解决 MDSM 问题。全面实验验证了我们框架作为检测 MLLM 驱动的多模态欺骗的统一架构的优越泛化能力。在 MDSM 数据集上的跨域测试中，AMD 取得了最佳平均性能，准确率为 88.18，平均精度 mAP 为 60.25，平均交并比 mIoU 为 61.02。
引用
@article{arxiv.2505.17476,
title = {The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts},
author = {Yuchen Zhang and Yaxiong Wang and Yujiao Wu and Lianwei Wu and Li Zhu and Zhedong Zheng},
journal= {arXiv preprint arXiv:2505.17476},
year = {2026}
}
备注
Accepted to CVPR 2026 main track