DF40：通向下一代深度伪造检测

我们提出了新的全面基准，以彻底变革当前的深度伪造检测领域。主要情况下，现有 work 通过遵循 common practice 来识别 top-notch 检测算法和模型：在 specific dataset (如 FF++) 上训练检测器，然后在 other prevalent deepfake datasets 上进行测试。这种 protocol 常被视为 navigate SoTA 检测器的 "golden compass"。但这些 stand-out "winners" 是否可以真正应用于应对现实世界中潜伏的各种各样且多样的 deepfakes？如果不能，潜在的因素是什么？ In this work, 我们发现 dataset (包括 train 和 test) 可以是 "primary culprit"，原因在于：(1) forgery diversity：深度伪造技术通常被称为 face forgery 和 entire image synthesis。大多数现有 dataset 只包含 partial 类型，其中有限的 forgery 方法被实现；(2) forgery realism：占主导地位的 training dataset FF++ 包含过去四年中 out-of-date 的 forgery 技术。 "Honing skills" on these forgeries 使得保证 effective detection generalization toward nowadays' SoTA deepfakes 变得困难；(3) evaluation protocol：大多数 detection work 在一种 type 上进行 evaluations，这阻碍了 universal deepfake 检测器的发展。为解决这一困境，我们构建了一个 highly diverse deepfake detection dataset，称为 DF40，包含 40 种 distinct deepfake 技术。随后，我们在 4 standard evaluation protocols 和 8 representative detection methods 上进行 comprehensive evaluations，结果超过 2000 次 evaluations。通过这些 evaluations，我们从 various perspectives 提供了 extensive analysis， leading to 7 项 new insightful findings。我们也 open up 4 项 valuable yet previously underexplored research questions 以激发 future works。我们的 project page 为 https://github.com/YZY-stack/DF40。