超越频谱：通过重合成检测深度伪造
计算机视觉与模式识别
2021-06-01 v1
摘要
过去几年深度生成模型的快速发展催生了高度逼真的媒体，即所谓的深度伪造（deepfakes），其通常与人眼所见的真实媒体难以区分。这些进展使得评估视觉数据的真实性愈发困难，并对一般视觉内容的可信度构成错误信息威胁。尽管近期工作展示了对此类深度伪造的强检测精度，但其成功很大程度上依赖于识别生成图像中的频率伪影，而随着生成模型持续演进并缩小与真实图像的差距，这不会成为一种可持续的检测方法。为克服此问题，我们提出了一种新颖的伪造检测方法，其设计用于对测试图像进行重合成并提取用于检测的视觉线索。重合成过程灵活，允许我们纳入一系列视觉任务——我们采用超分辨率、去噪和着色作为重合成。我们在涉及 CelebA-HQ、FFHQ 和 LSUN 数据集上多个生成器的多种检测场景中，展示了我们方法在有效性提升、跨 GAN 泛化性及对抗扰动的鲁棒性方面的表现。源代码见 https://github.com/SSAW14/BeyondtheSpectrum。
引用
@article{arxiv.2105.14376,
title = {Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis},
author = {Yang He and Ning Yu and Margret Keuper and Mario Fritz},
journal= {arXiv preprint arXiv:2105.14376},
year = {2021}
}
备注
To appear in IJCAI2021. Source code at https://github.com/SSAW14/BeyondtheSpectrum