细察用于CNN生成图像检测的傅里叶频谱差异
计算机视觉与模式识别
2021-04-01 v1 图像与视频处理
摘要
基于CNN的生成建模已发展到能产出在RGB像素空间与真实图像无法区分的合成图像。近期工作观察到CNN生成图像在复制高频傅里叶频谱衰减属性方面存在系统性缺陷。此外，这些工作成功利用了该系统性缺陷来检测CNN生成图像，在多个最先进GAN模型上报告了高达99%的准确率。在本工作中，我们调查了声称CNN生成图像无法实现高频频谱衰减一致性的论断的有效性。我们精心构建了由DCGAN、LSGAN、WGAN-GP和StarGAN的手工实验产生的高频频谱衰减一致CNN生成图像的反例空间，并凭经验表明该频率差异可通过最后上采样操作中的微小架构改变来避免。随后我们利用该反例空间中的图像成功绕过了近期提出的利用高频傅里叶频谱衰减属性进行CNN生成图像取证的检测器。通过本研究，我们表明高频傅里叶频谱衰减差异并非现有基于CNN的生成模型的固有特征——与某些现有工作的看法相反——且此类特征对于执行合成图像检测并不鲁棒。我们的结果促使重新思考使用高频傅里叶频谱衰减属性进行CNN生成图像检测。代码与模型见 https://keshik6.github.io/Fourier-Discrepancies-CNN-Detection/
引用
@article{arxiv.2103.17195,
title = {A Closer Look at Fourier Spectrum Discrepancies for CNN-generated Images Detection},
author = {Keshigeyan Chandrasegaran and Ngoc-Trung Tran and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2103.17195},
year = {2021}
}
备注
CVPR 2021 Oral