合成图像的奇特性质：从生成对抗网络到扩散模型
计算机视觉与模式识别
2023-06-30 v2
摘要
检测伪造图像正成为计算机视觉的一项重要目标。随着基于生成对抗网络（GAN）的合成方法的持续改进，尤其是基于扩散模型（DM）的强大方法的出现，这一需求变得愈发迫切。为此，深入理解哪些图像特征能更好地区分伪造图像与真实图像至关重要。本文报道了我们对大量不同族系图像生成器进行的系统研究，旨在发现真实图像与生成图像中最具取证相关性的特征。我们的实验提供了若干有趣的观察结果，并揭示了合成图像的一些奇特性质：（1）不仅 GAN 模型，DM 和 VQ-GAN（矢量量化生成对抗网络）模型也会在傅里叶域中产生可见伪影，并在自相关中表现出异常的规则模式；（2）当用于训练模型的数据集缺乏足够多样性时，其偏差会转移到生成图像中；（3）合成图像与真实图像在中高频信号内容上存在显著差异，这可从它们的径向和角向谱功率分布中观察到。
引用
@article{arxiv.2304.06408,
title = {Intriguing properties of synthetic images: from generative adversarial networks to diffusion models},
author = {Riccardo Corvi and Davide Cozzolino and Giovanni Poggi and Koki Nagano and Luisa Verdoliva},
journal= {arXiv preprint arXiv:2304.06408},
year = {2023}
}