现实世界中的实时深度伪造检测
计算机视觉与模式识别
2024-06-14 v1
摘要
生成式AI的最新进展使得合成虚假图像变得容易；由于它们可能被用来造成伤害，开发准确的技术来识别它们至关重要。本文介绍了“局部感知深度伪造检测算法”，该算法接受单个9x9图像块并输出其深度伪造分数。图像的深度伪造分数是其所有块的池化分数。仅凭块级信息，LaDeDa就显著优于现有技术，在当前基准测试上实现了约99%的平均精度。由于LaDeDa的块级结构，我们假设生成伪影可以通过一个简单模型检测到。因此，我们将LaDeDa蒸馏为Tiny-LaDeDa，一个仅由4个卷积层组成的高效模型。值得注意的是，Tiny-LaDeDa的FLOPs比LaDeDa少375倍，参数效率高10,000倍，使其能够在边缘设备上高效运行，同时精度略有下降。这些近乎完美的分数引发了一个问题：深度伪造检测的任务是否接近解决？也许令人惊讶的是，我们的调查显示，当前的训练协议阻止了方法泛化到从社交媒体提取的现实世界深度伪造。为了解决这个问题，我们引入了WildRF，一个从几个流行社交网络中整理的新深度伪造检测数据集。我们的方法在WildRF上达到了93.7%平均精度的最佳性能，但与完美精度的巨大差距表明，可靠的现实世界深度伪造检测仍未解决。
引用
@article{arxiv.2406.09398,
title = {Real-Time Deepfake Detection in the Real-World},
author = {Bar Cavia and Eliahu Horwitz and Tal Reiss and Yedid Hoshen},
journal= {arXiv preprint arXiv:2406.09398},
year = {2024}
}