深度伪造如何运动？用于深度伪造来源检测的运动放大
计算机视觉与模式识别
2022-12-29 v1 人工智能
摘要
随着深度生成模型的扩散，深度伪造（deepfakes）的质量和数量每天都在提升。然而，原始视频中存在细微的真实性信号，未被 SOTA GAN 复制。我们通过运动放大对比深度伪造与真实视频中的运动，以构建通用的深度伪造来源检测器。面部肌下运动对不同生成模型有不同解释，这反映在其生成残差中。我们的方法结合深度与传统运动放大，利用真实运动与放大的 GAN 指纹之间的差异，来检测视频是否为伪造以及若是则其来源生成器。在两个多来源数据集上评估我们的方法，我们在视频来源检测上分别获得 97.17% 和 94.03%。我们与先前的深度伪造来源检测器及其他复杂架构进行比较。我们还分析了放大量、相位提取窗口、骨干网络架构、样本数量和样本长度的重要性。最后，我们报告了针对不同肤色的结果以评估偏差。
引用
@article{arxiv.2212.14033,
title = {How Do Deepfakes Move? Motion Magnification for Deepfake Source Detection},
author = {Umur Aybars Ciftci and Ilke Demir},
journal= {arXiv preprint arXiv:2212.14033},
year = {2022}
}