通过图像匹配分析解释深度伪造检测
计算机视觉与模式识别
2022-07-21 v1
摘要
本文旨在解释当仅以二值标签监督时，深度伪造检测模型如何学习图像的人为伪影特征。为此，从图像匹配的角度提出如下三个假设。1. 深度伪造检测模型基于既非源相关也非目标相关的视觉概念来指示真实/伪造图像，即此类视觉概念被视为伪影相关。2. 除二值标签监督外，深度伪造检测模型通过训练集中的FST-Matching（即伪造、源、目标图像的匹配）隐式学习伪影相关视觉概念。3. 原始训练集中通过FST-Matching隐式学习的伪影视觉概念易受视频压缩影响。实验中，上述假设在多种DNN中得以验证。此外，基于该理解，我们提出FST-Matching深度伪造检测模型以提升压缩视频上伪造检测的性能。实验结果表明，我们的方法取得了优异性能，尤其在高度压缩（如c40）视频上。
引用
@article{arxiv.2207.09679,
title = {Explaining Deepfake Detection by Analysing Image Matching},
author = {Shichao Dong and Jin Wang and Jiajun Liang and Haoqiang Fan and Renhe Ji},
journal= {arXiv preprint arXiv:2207.09679},
year = {2022}
}
备注
Accepted at ECCV 2022, Code is available at: https://github.com/megvii-research/FST-Matching