深度生成图像的统计特性
计算机视觉与模式识别
2019-11-26 v5
摘要
在此，我们探索了由最先进的深度生成模型生成的图像的低级统计特性。首先，在 ImageNet 数据集和大量来自动画的卡通帧上训练了变分自编码器（VAE）、Wasserstein 生成对抗网络（WGAN）和深度卷积生成对抗网络（DCGAN）。然后，对于由这些模型生成的图像以及自然场景和卡通图像，计算了包括平均功率谱、给定图像区域中的连通分量数、随机滤波器响应分布和对比度分布在内的统计特性。我们对训练图像的分析支持了当前关于自然场景的尺度不变性、非高斯性和 Weibull 对比度分布的发现。我们发现，尽管卡通图像也存在类似结果，但自然场景与 VAE、DCGAN 和 WGAN 模型生成的图像在统计特性上仍存在显著差异。特别是，生成的图像不具有尺度不变的平均功率谱幅度，这表明这些图像中存在额外的结构。检查深度生成图像的统计特性在多大程度上匹配自然图像的已知统计特性（如尺度不变性、非高斯性和 Weibull 对比度分布），可以 a) 揭示深度学习模型捕捉自然场景本质的程度，b) 提供评估模型的新维度，以及 c) 允许对图像生成模型进行可能的改进（例如，通过定义新的损失函数）。
引用
@article{arxiv.1708.02688,
title = {Statistics of Deep Generated Images},
author = {Yu Zeng and Huchuan Lu and Ali Borji},
journal= {arXiv preprint arXiv:1708.02688},
year = {2019}
}