Mover：基于掩码与恢复的人脸部位一致性感知深度伪造视频检测方法
计算机视觉与模式识别
2023-05-09 v2 多媒体
摘要
深度伪造技术已被广泛用于恶意目的，引发了开发深度伪造检测方法的广泛研究兴趣。深度伪造操纵通常涉及篡改人脸部位，这可能导致面部不同部位间的不一致。例如，深度伪造技术可能将微笑的嘴唇改为不悦的嘴唇，而眼睛仍保持微笑。现有检测方法依赖于特定的伪造指示特征，而这些特征随着伪造模式的改进往往消失。为解决该局限，我们提出 Mover，一种利用非特定人脸部位不一致性（深度伪造视频不可避免的弱点）的新型深度伪造检测模型。Mover 随机掩码感兴趣区域（ROIs）并恢复人脸以学习非特定特征，这使得伪造人脸难以被恢复，而真实人脸可轻易恢复。具体而言，给定真实人脸图像，我们首先预训练一个掩码自编码器，通过将人脸分为三部分并随机掩码 ROIs，然后基于未掩码的人脸部位进行恢复，从而学习人脸部位一致性。此外，为最大化真实与伪造视频间的差异，我们提出一种具有双网络的新型模型，分别利用预训练编码器和掩码自编码器。1）预训练编码器被微调以捕获给定视频中不一致信息的编码。2）预训练掩码自编码器被用于映射人脸并区分真实与伪造视频。我们在标准基准上的大量实验表明 Mover 非常有效。
引用
@article{arxiv.2303.01740,
title = {Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection},
author = {Juan Hu and Xin Liao and Difei Gao and Satoshi Tsutsui and Qian Wang and Zheng Qin and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2303.01740},
year = {2023}
}