关于扩散生成图像真实感的量化与提升
计算机视觉与模式识别
2023-09-27 v1
摘要
扩散模型的最新进展使得生成视觉内容的质量实现了量子跃迁。然而，内容真实感的量化仍然具有挑战性。现有的评估指标，如 Inception Score 和 Fréchet inception distance，由于生成图像的多样性，在基准测试扩散模型方面存在不足。此外，它们并非设计用于量化单张图像的真实性。这限制了它们在取证图像分析中的应用，而在生成模型兴起的时代，后者正变得愈发重要。为此，我们首先提出一种称为图像真实感分数（Image Realism Score, IRS）的指标，由给定图像的五种统计度量计算而得。这种基于非学习的指标不仅高效量化生成图像的真实性，还可直接用作将给定图像分类为真实或伪造的度量。我们通过成功检测由 Stable Diffusion Model (SDM)、Dalle2、Midjourney 和 BigGAN 生成的伪造图像，实验确立了所提 IRS 的模型无关和数据无关特性。我们进一步利用我们指标的这一属性来最小化 SDM 的 IRS 增强生成损失，并展示了通过我们的修改对 SDM 生成内容进行便捷且可观的质量提升。我们的工作还催生了 Gen-100 数据集，该数据集提供由四种高质量模型生成的 100 个类别各 1,000 个样本。我们将发布该数据集和代码。
引用
@article{arxiv.2309.14756,
title = {On quantifying and improving realism of images generated with diffusion},
author = {Yunzhuo Chen and Naveed Akhtar and Nur Al Hasan Haldar and Ajmal Mian},
journal= {arXiv preprint arXiv:2309.14756},
year = {2023}
}
备注
10 pages, 5 figures