利用频率分析进行深度伪造图像识别
计算机视觉与模式识别
2020-06-29 v3 图像与视频处理
摘要
深度神经网络能够生成惊人逼真的图像，以至于人类往往难以将其与真实照片区分。这些成果很大程度上得益于生成对抗网络（GANs）。尽管深度伪造图像已在图像域被深入研究——这是图像取证领域的经典方法——但频域中的分析迄今仍属缺失。本文弥补这一不足，我们的结果表明在频率空间中，GAN生成的图像表现出可被轻易识别的严重伪影。我们进行了全面分析，显示这些伪影在不同神经网络架构、数据集与分辨率下具有一致性。在进一步研究中，我们证明这些伪影由当前所有GAN架构中存在的上采样操作引起，表明通过GAN生成图像的方式存在结构性根本问题。基于该分析，我们展示了如何利用频率表示以自动化方式识别深度伪造图像，超越最先进方法。
引用
@article{arxiv.2003.08685,
title = {Leveraging Frequency Analysis for Deep Fake Image Recognition},
author = {Joel Frank and Thorsten Eisenhofer and Lea Schönherr and Asja Fischer and Dorothea Kolossa and Thorsten Holz},
journal= {arXiv preprint arXiv:2003.08685},
year = {2020}
}
备注
Accepted to ICML 2020. New experiments, updated several sections, code: https://github.com/RUB-SysSec/GANDCTAnalysis