Recap:通过恢复人脸与映射恢复人脸检测具有不可预测篡改痕迹的 Deepfake 视频
计算机视觉与模式识别
2023-08-22 v1 人工智能
摘要
将 Deepfake 技术用于恶意目的已引发了对 Deepfake 检测的大量研究兴趣。Deepfake 篡改常引入随机篡改痕迹,导致不同面部区域出现不可预测的结果。然而,现有检测方法严重依赖特定的伪造指示符,且随着伪造模式改进,这些痕迹愈发随机化,致使依赖特定伪造痕迹的方法检测性能下降。为应对该局限,我们提出 Recap,一种新颖的 Deepfake 检测模型,它通过恢复人脸并映射恢复人脸来暴露非特定面部部位不一致性,并放大真实与伪造之间的差异。在恢复阶段,模型聚焦于随机掩码感兴趣区域(ROIs)并重建无不可预测篡改痕迹的真实人脸,从而对真实人脸获得较好恢复效果,对伪造人脸恢复效果较差。在映射阶段,恢复阶段的输出作为监督来引导面部映射过程。该映射过程策略性地强调对恢复较差的伪造人脸的映射,使其表示进一步恶化,同时增强并精炼表示良好的真实人脸的映射。因此,该方法显著放大了真实与伪造视频间的差异。我们在标准基准上的大量实验表明,Recap 在多种场景下均有效。
引用
@article{arxiv.2308.09921,
title = {Recap: Detecting Deepfake Video with Unpredictable Tampered Traces via Recovering Faces and Mapping Recovered Faces},
author = {Juan Hu and Xin Liao and Difei Gao and Satoshi Tsutsui and Qian Wang and Zheng Qin and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2308.09921},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2305.05943