基于强化学习增强的自混合图像的可解释 Deepfake 检测
计算机视觉与模式识别
2026-01-23 v1
摘要
大多数先前的 deepfake 检测方法缺乏可解释的输出。随着对多模态大语言模型(MLLMs)兴趣的增长，研究人员开始探索将其用于可解释的 deepfake 检测。然而，将 MLLMs 应用于该任务的一个主要障碍是缺乏带有详细伪造归因标注的高质量数据集，因为文本标注既昂贵又具有挑战性——特别是对于高保真的伪造图像或视频。此外，多项研究表明，强化学习(RL)可以显著提升视觉任务的性能，尤其是在改善跨域泛化能力方面。为了促进将主流 MLLM 框架应用于 deepfake 检测并降低标注成本，同时研究 RL 在此背景下的潜力，我们提出了一种基于自混合图像的自动化思维链数据生成框架，以及一种 RL 增强的 deepfake 检测框架。大量实验验证了我们 CoT 数据构建流程、定制奖励机制以及反馈驱动的合成数据生成方法的有效性。我们的方法在多个跨数据集基准测试中取得了与最先进(SOTA)方法相媲美的性能。实现细节可在 https://github.com/deon1219/rlsbi 获取。
关键词
引用
@article{arxiv.2601.15624,
title = {Explainable Deepfake Detection with RL Enhanced Self-Blended Images},
author = {Ning Jiang and Dingheng Zeng and Yanhong Liu and Haiyang Yi and Shijie Yu and Minghe Weng and Haifeng Shen and Ying Li},
journal= {arXiv preprint arXiv:2601.15624},
year = {2026}
}
备注
Accepted at ICASSP 2026