基于人脸与其背景之间差异的深度伪造检测
计算机视觉与模式识别
2020-08-28 v1 机器学习
摘要
我们提出了一种检测单幅图像中换脸及其他身份篡改的方法。换脸方法（如 DeepFake）对人脸区域进行篡改，旨在使人脸适应其背景的外观，同时保持背景不变。我们表明，这种操作方式会在两个区域之间产生差异。这些差异提供了可利用的篡改痕迹。我们的方法涉及两个网络：(i) 一个考虑由紧凑语义分割界定的人脸区域的人脸识别网络，以及 (ii) 一个考虑人脸背景（如头发、耳朵、脖子）的背景识别网络。我们描述了一种利用来自这两个网络的识别信号来检测此类差异的方法，提供了一种补充性的检测信号，可改进常用于检测伪造图像的常规真实 vs. 伪造分类器。我们的方法在 FaceForensics++、Celeb-DF-v2 和 DFDC 换脸检测基准上取得了最先进（state of the art）的结果，甚至能泛化检测由未见方法生成的伪造图像。
引用
@article{arxiv.2008.12262,
title = {DeepFake Detection Based on the Discrepancy Between the Face and its Context},
author = {Yuval Nirkin and Lior Wolf and Yosi Keller and Tal Hassner},
journal= {arXiv preprint arXiv:2008.12262},
year = {2020}
}