用于视频中深度伪造隔离的双分支循环网络
计算机视觉与模式识别
2020-09-07 v3 计算机与社会
机器学习
摘要
当前利用 deepfakes 人工生成的超逼真人脸的激增，呼唤着专为视频流设计、并在视频级别以低误报率可靠工作的媒体取证方案。我们提出一种基于双分支网络结构的 deepfake 检测方法，该方法通过学习放大伪影同时抑制高层人脸内容来隔离被数字操纵的人脸。与当前将空间频率作为预处理步骤提取的方法不同，我们提出一种双分支结构：一个分支传播原始信息，而另一分支利用高斯差分（LoG）作为瓶颈层来抑制人脸内容却放大多频带频率。为了更好地隔离被操纵的人脸，我们推导了一种新颖的损失函数，其与常规分类不同，压缩自然人脸的变异性并在特征空间中推远不真实的人脸样本。与先前工作相比，我们的两个新颖组件在 FaceForensics++、Celeb-DF 和 Facebook 的 DFDC preview 基准上展现出有前景的结果。随后我们对网络架构与损失函数给出了完整、详细的消融研究。最后，尽管在以极低误报率获得非常显著指标方面门槛仍高，我们的研究表明在视频级 AUC 的交叉测试方面我们可取得良好的视频级性能。
引用
@article{arxiv.2008.03412,
title = {Two-branch Recurrent Network for Isolating Deepfakes in Videos},
author = {Iacopo Masi and Aditya Killekar and Royston Marian Mascarenhas and Shenoy Pratik Gurudatt and Wael AbdAlmageed},
journal= {arXiv preprint arXiv:2008.03412},
year = {2020}
}
备注
To appear in the 16th European Conference on Computer Vision ECCV 2020 (added link to our demo and to the video presentation)