DeepRhythm：利用注意力视觉心跳节律揭露深度伪造
计算机视觉与模式识别
2020-08-27 v2
摘要
随着基于GAN的人脸图像和视频生成技术（广为人知的DeepFakes）变得日益成熟和逼真，对有效DeepFakes检测器的需求变得迫切而紧急。受远程视觉光电容积描记术（PPG）通过监测因面部血液泵送引起的皮肤颜色微小周期性变化而成为可能的这一事实启发，我们推测，在真实人脸视频中发现的心跳节律在DeepFake视频中将被扰乱甚至完全破坏，使其成为DeepFake检测的一个潜在强大指标。在本工作中，我们提出了DeepRhythm，一种通过监测心跳节律来揭露DeepFakes的DeepFake检测技术。DeepRhythm利用双时空注意力来适应动态变化的人脸和伪造类型。在FaceForensics++和DFDC-preview数据集上的大量实验证实了我们的推测，并展示了DeepRhythm在不同数据集上，面对各种DeepFakes生成技术和多种具有挑战性的降质情况时的有效性和泛化能力。
引用
@article{arxiv.2006.07634,
title = {DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms},
author = {Hua Qi and Qing Guo and Felix Juefei-Xu and Xiaofei Xie and Lei Ma and Wei Feng and Yang Liu and Jianjun Zhao},
journal= {arXiv preprint arXiv:2006.07634},
year = {2020}
}
备注
11 pages, 7 figures; This paper has been accepted to ACM-MM 2020