D$^3$：通过从差异中学习扩展Deepfake检测

Yongqi Yang; Zhihao Qian; Ye Zhu; Olga Russakovsky; Yu Wu

D$^3$：通过从差异中学习扩展Deepfake检测

计算机视觉与模式识别 2025-03-25 v2

作者: Yongqi Yang , Zhihao Qian , Ye Zhu , Olga Russakovsky , Yu Wu

摘要

生成式AI的繁荣带来了与风险和担忧交织的机遇。现有文献强调了Deepfake检测在未见生成器上的泛化能力，显著提升了检测器识别更通用伪影的能力。本工作旨在向具有更好泛化性和鲁棒性的通用Deepfake检测系统迈进一步。我们首先将现有的检测任务设置从单生成器训练扩展到多生成器训练，在此过程中我们揭示了先前方法设计中存在的两个挑战，并展示了检测器性能的分歧。具体而言，我们揭示了为在单一特定生成器上训练而量身定制的当前方法，要么难以从多个生成器中学习全面的伪影，要么牺牲其对已见生成器的拟合能力（即域内（ID）性能）以换取对未见生成器的泛化能力（即域外（OOD）性能）。为了应对上述挑战，我们提出了差异Deepfake检测器（D $^3$ ）框架，其核心思想是通过引入一个并行网络分支来从多个生成器中解构通用伪影，该分支将失真图像特征作为额外的差异信号并补充其原始对应部分。大量扩展实验证明了D $^3$ 的有效性，与当前SOTA方法相比，在OOD测试中实现了5.3%的准确率提升，同时保持了ID性能。源代码将在我们的GitHub仓库中更新：https://github.com/BigAandSmallq/D3

关键词

Deepfake检测域泛化差异学习域外生成式AI

引用

@article{arxiv.2404.04584,
  title  = {D$^3$: Scaling Up Deepfake Detection by Learning from Discrepancy},
  author = {Yongqi Yang and Zhihao Qian and Ye Zhu and Olga Russakovsky and Yu Wu},
  journal= {arXiv preprint arXiv:2404.04584},
  year   = {2025}
}

备注

13 pages, 3 figures, accepted by CVPR 2025

D$^3$：通过从差异中学习扩展Deepfake检测

摘要

关键词

引用

备注

相关论文