中文

Delocate:针对具有随机分布篡改痕迹的 Deepfake 视频的检测与定位

计算机视觉与模式识别 2024-05-13 v5 密码学与安全

摘要

Deepfake 视频正变得日益逼真,在面部区域几乎不留篡改痕迹,且这些痕迹在帧间不断变化。因此,现有的 Deepfake 检测方法在准确检测并定位篡改区域的同时,难以检测未知领域的 Deepfake 视频。为解决这一局限性,我们提出了 Delocate,一种既能识别又能定位未知领域 Deepfake 视频的新型 Deepfake 检测模型。我们的方法包含恢复和定位两个阶段。在恢复阶段,模型随机掩蔽感兴趣区域(ROI)并重建无篡改痕迹的真实人脸,这使得真实人脸获得相对较好的恢复效果,而伪造人脸的恢复效果较差。在定位阶段,恢复阶段的输出和伪造真值掩码作为监督来指导伪造定位过程。该过程策略性地强调恢复效果较差的伪造人脸的恢复阶段,从而促进篡改区域的定位。我们在四个广泛使用的基准数据集上的大量实验表明,Delocate 不仅在定位篡改区域方面表现出色,还提升了跨领域检测性能。

关键词

引用

@article{arxiv.2401.13516,
  title  = {Delocate: Detection and Localization for Deepfake Videos with Randomly-Located Tampered Traces},
  author = {Juan Hu and Xin Liao and Difei Gao and Satoshi Tsutsui and Qian Wang and Zheng Qin and Mike Zheng Shou},
  journal= {arXiv preprint arXiv:2401.13516},
  year   = {2024}
}

备注

arXiv admin note: substantial text overlap with arXiv:2308.09921, arXiv:2305.05943