Delocate:针对具有随机分布篡改痕迹的 Deepfake 视频的检测与定位
计算机视觉与模式识别
2024-05-13 v5 密码学与安全
摘要
Deepfake 视频正变得日益逼真,在面部区域几乎不留篡改痕迹,且这些痕迹在帧间不断变化。因此,现有的 Deepfake 检测方法在准确检测并定位篡改区域的同时,难以检测未知领域的 Deepfake 视频。为解决这一局限性,我们提出了 Delocate,一种既能识别又能定位未知领域 Deepfake 视频的新型 Deepfake 检测模型。我们的方法包含恢复和定位两个阶段。在恢复阶段,模型随机掩蔽感兴趣区域(ROI)并重建无篡改痕迹的真实人脸,这使得真实人脸获得相对较好的恢复效果,而伪造人脸的恢复效果较差。在定位阶段,恢复阶段的输出和伪造真值掩码作为监督来指导伪造定位过程。该过程策略性地强调恢复效果较差的伪造人脸的恢复阶段,从而促进篡改区域的定位。我们在四个广泛使用的基准数据集上的大量实验表明,Delocate 不仅在定位篡改区域方面表现出色,还提升了跨领域检测性能。
关键词
引用
@article{arxiv.2401.13516,
title = {Delocate: Detection and Localization for Deepfake Videos with Randomly-Located Tampered Traces},
author = {Juan Hu and Xin Liao and Difei Gao and Satoshi Tsutsui and Qian Wang and Zheng Qin and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2401.13516},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2308.09921, arXiv:2305.05943