Mover：基于掩码与恢复的人脸部件一致性感知深度伪造视频检测方法
多媒体
2023-05-11 v1
摘要
Deepfake技术已被广泛用于恶意目的，引发了开发Deepfake检测方法的广泛研究兴趣。Deepfake操纵通常涉及对人脸部件进行篡改，这可能导致人脸不同部件间的不一致。例如，Deepfake技术可能将微笑的嘴唇改为不悦的嘴唇，而眼睛仍保持微笑。现有检测方法依赖于特定的伪造指示特征，随着伪造模式的改进，这些特征往往消失。为应对该局限，我们提出Mover，一种利用非特定人脸部件不一致性的新型Deepfake检测模型，此类不一致是Deepfake视频不可避免的弱点。Mover随机掩码感兴趣区域 (ROIs) 并恢复人脸以学习非特定特征，这使得伪造人脸难以被恢复，而真实人脸可轻易恢复。具体而言，给定真实人脸图像，我们首先预训练一个掩码自编码器，通过将人脸分为三部分并随机掩码ROIs来学习人脸部件一致性，随后基于未掩码人脸部件进行恢复。此外，为最大化真实与伪造视频间的差异，我们提出一种具有双网络的新型模型，分别利用预训练编码器与掩码自编码器。1) 预训练编码器被微调以捕获给定视频中不一致信息的编码。2) 预训练掩码自编码器被用于映射人脸并区分真实与伪造视频。我们在标准基准上的大量实验表明Mover极为有效。
引用
@article{arxiv.2305.05943,
title = {Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection},
author = {Juan Hu and Xin Liao and Difei Gao and Satoshi Tsutsui and Qian Wang and Zheng Qin and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2305.05943},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2303.01740