TAR：基于弱监督学习检测深度伪造的广义取证框架
计算机视觉与模式识别
2021-05-14 v1
摘要
深度伪造已成为一个关键的社会问题，检测它们至关重要。此外，深度伪造生成方法不断演进，使其愈发难以检测。尽管许多深度伪造检测模型能分别检测不同类型的深度伪造，但其在多种类型深度伪造上的泛化检测性能较差。这促使我们开发一种广义模型来检测不同类型的深度伪造。因此，在这项工作中，我们引入了一种实用的数字取证工具来同时检测不同类型的深度伪造，并提出了基于迁移学习的带残差自编码器（TAR）。我们工作的最终目标是开发一个统一模型，以高准确率检测各类深度伪造视频，且仅需少量训练样本便能在真实场景良好工作。我们开发了基于自编码器的检测模型并带有残差块，并顺序执行迁移学习以同时检测不同类型的深度伪造。我们的方法在 FaceForensics++ 数据集上取得了比最先进方法高得多的泛化检测性能。此外，我们在互联网上可用的 50 位名人的 200 个真实世界 Deepfake-in-the-Wild (DW) 视频上评估了我们的模型，取得了 89.49% 的零样本准确率，显著高于最佳基线模型（提升 10.77%），证明并验证了我们方法的实用性。
引用
@article{arxiv.2105.06117,
title = {TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning},
author = {Sangyup Lee and Shahroz Tariq and Junyaup Kim and Simon S. Woo},
journal= {arXiv preprint arXiv:2105.06117},
year = {2021}
}
备注
16 pages, 3 figures, to be published in IFIP-SEC 2021