GOTCHA：基于挑战-响应的实时视频深度伪造检测

随着 AI 赋能的实时深度伪造(RTDF)的兴起，在线视频交互的完整性日益受到关注。RTDF 现已能在实时视频交互中将冒名者的脸替换为其受害者。深度伪造的这一进展也促使检测达到同等标准。然而，现有深度伪造检测技术是异步的，因而不适用于 RTDF。为弥补此差距，我们提出一种在实时场景中确立真实性的挑战-响应方法。我们聚焦于说话头部风格视频交互，并提出一类专门针对 RTDF 生成流水线固有局限性的挑战分类法。我们通过收集包含八项挑战的独特数据集对该分类法的代表性示例进行评估，这些挑战持续且可见地降低了 state-of-the-art 深度伪造生成器的质量。这些结果同时得到人类与一种新自动评分函数的证实，分别达到 88.6% 与 80.1% 的 AUC。研究结果凸显了挑战-响应系统在实际场景中用于可解释且可扩展的实时深度伪造检测的良好潜力。我们在 \url{https://github.com/mittalgovind/GOTCHA-Deepfakes} 提供数据与代码。