中文

深度伪造图像检测器泛化能力如何?一项实证研究

计算机视觉与模式识别 2024-10-28 v2 密码学与安全

摘要

深度伪造(Deepfake)正变得愈发可信,鉴于其可能助长欺诈或绕过访问控制系统,构成了重大威胁。这推动了深度伪造检测方法的研发,其中深度学习模型被训练以区分真实与合成素材。遗憾的是,现有检测器难以泛化到其未训练过的数据集中的深度伪造,但鲜有研究考察其原因或解决途径。尤其是,那些单模态深度伪造图像所暴露的可用伪造证据极少,比检测深度伪造视频带来更大挑战。本文中,我们首次对深度伪造检测器的泛化能力进行实证研究,这是检测器保持领先攻击者一步的关键目标。我们的研究使用了六个深度伪造数据集、五种深度伪造图像检测方法以及两种模型增强策略,证实检测器在零样本设定下无法泛化。此外,我们发现检测器学到了特定于合成方法的不必要属性,且难以提取判别性特征,限制了其泛化能力。最后,我们发现存在跨已见与未见数据集普遍有助于检测的神经元,为零样本泛化提供了一条可能路径。

关键词

引用

@article{arxiv.2308.04177,
  title  = {How Generalizable are Deepfake Image Detectors? An Empirical Study},
  author = {Boquan Li and Jun Sun and Christopher M. Poskitt and Xingmei Wang},
  journal= {arXiv preprint arXiv:2308.04177},
  year   = {2024}
}

备注

This work has been submitted for possible publication