深度网络生成图像中的傅里叶频谱差异
图像与视频处理
2021-02-16 v3 机器学习
机器学习
摘要
生成对抗网络和变分自编码器等深度生成模型的进步使得生成视觉上难以与真实图像区分的逼真图像成为可能，这引发了对其潜在恶意使用的担忧。在本文中，我们对真实图像与深度网络生成图像的高频傅里叶模态进行分析，表明深度网络生成图像在复制这些高频模态的属性方面存在可观测的、系统性的缺陷。基于此，我们提出一种基于图像频谱的检测方法，在5000张图像的数据集上，仅使用少至8个训练样本，便能针对来自各种GAN和VAE架构的真实与深度网络生成图像分类达到高达99.2%的准确率。此外，我们展示了压缩、裁剪和分辨率降低等图像变换对分类准确率的影响，并提出了一种修改深度网络生成图像高频属性以模仿真实图像的方法。
引用
@article{arxiv.1911.06465,
title = {Fourier Spectrum Discrepancies in Deep Network Generated Images},
author = {Tarik Dzanic and Karan Shah and Freddie Witherden},
journal= {arXiv preprint arXiv:1911.06465},
year = {2021}
}
备注
11 pages, 7 figures