基于对比学习和频谱滤波器剖面的图像生成细化频谱翻译 (STIG)

目前，随着生成模型的发展，图像生成与合成取得了显著进步。尽管能产生照片级真实的结果，但在频域中仍观察到内在差异。这种频谱差异不仅出现在生成对抗网络 (GAN) 中，也出现在扩散模型中。在本研究中，我们提出了一个框架，以有效缓解生成图像在频域中的差异，从而提高 GAN 和扩散模型的生成性能。这是通过基于对比学习的图像生成细化频谱翻译 (STIG) 实现的。我们采用了各种生成网络中频率分量的理论逻辑。这里的核心思想是通过数字信号处理中的图像到图像翻译和对比学习概念来细化生成图像的频谱。我们在八个伪造图像数据集和各种前沿模型上评估了我们的框架，以证明 STIG 的有效性。我们的框架优于其他前沿方法，显著降低了 FID 和频谱的对数频率距离。我们进一步强调，STIG 通过减少频谱异常提高了图像质量。此外，验证结果表明，在伪造频谱被 STIG 操纵的情况下，基于频率的深伪检测器会产生更多混淆。