MARE：基于视觉语言模型的多模态对齐与强化学习用于可解释深度伪造检测
计算机视觉与模式识别
2026-02-02 v3
摘要
深度伪造检测是广受关注的议题，对于对抗恶意内容的传播至关重要，现有方法主要将问题建模为分类或空间局部化。生成模型的快速进步对深度伪造检测提出了新需求。本文提出一种基于视觉语言模型（Vision-Language Models，简称 VLMs）的多模态对齐与强化学习框架，用于可解释的深度伪造检测，称为 MARE，旨在增强 VLMs 在深度伪造检测与推理中的准确性和可靠性。具体而言，MARE 设计了综合的奖励函数，融合了从人类反馈获取的强化学习（Reinforcement Learning from Human Feedback，简称 RLHF），以激励生成符合人类偏好的文本-空间对齐推理内容。此外，MARE 引入了伪造解缔模块，以捕获高层面面部语义中固有的伪造痕迹，从而提升其真实性检测能力。我们对 MARE 生成的推理内容进行了彻底的评估。定性和定量实验结果均表明，MARE 在准确性和可靠性方面实现了最先进的性能。
引用
@article{arxiv.2601.20433,
title = {MARE: Multimodal Alignment and Reinforcement for Explainable Deepfake Detection via Vision-Language Models},
author = {Wenbo Xu and Wei Lu and Xiangyang Luo and Jiantao Zhou},
journal= {arXiv preprint arXiv:2601.20433},
year = {2026}
}