M4-BLIP：基于面部增强局部分析的多模态媒体操纵检测
计算机视觉与模式识别
2025-12-02 v1 人工智能
摘要
在当今数字时代，多模态媒体操纵已成为重大社会威胁，影响信息传播的可靠性和完整性。当前该领域的检测方法常忽视局部信息的关键作用，尽管操纵通常发生在特定区域，尤其是面部区域。为此，我们提出M4-BLIP框架。该创新框架以 BLIP-2 模型为基础，后者因擅长提取局部特征而成为特征提取的核心。我们还将局部面部信息作为先验知识纳入。框架内设计的专门对齐与融合模块细致集成了局部与全局特征，实现特征的和谐融合，提升检测精度。此外，我们的方法无缝集成大型语言模型（LLM），显著提高检测结果的可解释性。大量定量与可视化实验验证了该框架在对抗最先进竞争方法时的有效性。
引用
@article{arxiv.2512.01214,
title = {M4-BLIP: Advancing Multi-Modal Media Manipulation Detection through Face-Enhanced Local Analysis},
author = {Hang Wu and Ke Sun and Jiayi Ji and Xiaoshuai Sun and Rongrong Ji},
journal= {arXiv preprint arXiv:2512.01214},
year = {2025}
}
备注
12 pages, 6 figures