一种通过评估高阶空间上下文复现来评价图像深度生成模型的方法
摘要
深度生成模型（DGM）有潜力彻底改变诊断成像。生成对抗网络（GAN）是一种被广泛采用的DGM。在任何需要领域专业知识才能实际使用生成图像的应用中，部署GAN和其他DGM的首要问题是，通常缺乏足够或自动化的手段来评估生成图像在领域相关性方面的质量。在这项工作中，我们展示了对两种流行GAN架构输出图像的若干客观测试。我们设计了几个针对不同图像特征的随机上下文模型（SCM），这些特征可在训练后的GAN生成图像中被恢复。其中几个特征是高阶的、算法性的像素排列规则，不易用协方差矩阵表达。我们设计并验证了统计分类器，以检测已知排列规则的特定效应。然后，我们测试了两种不同GAN在多种训练场景和特征类别相似度下正确复现特征上下文的比率。我们发现，生成的图像集合在视觉上可以显得大体准确，并在整体度量上显示出高精度，但并未展现出已知的空间排列。此外，在具有不同空间秩序谱的数据上训练的GAN并未遵循训练数据中这些秩序的给定分布。主要结论是，SCM可以被设计用来量化每张图像中可能无法被整体统计量捕获，但可能会影响后续使用GAN生成图像的众多错误。
引用
@article{arxiv.2111.12577,
title = {A Method for Evaluating Deep Generative Models of Images via Assessing the Reproduction of High-order Spatial Context},
author = {Rucha Deshpande and Mark A. Anastasio and Frank J. Brooks},
journal= {arXiv preprint arXiv:2111.12577},
year = {2023}
}
备注
The paper is under consideration at Pattern Recognition Letters. Early version with preliminary results was accepted for poster presentation at SPIE-MI 2022. This version on arXiv contains new and updated designs of stochastic models, their mathematical representations and the corresponding results. Data from the designed ensembles available at https://doi.org/10.7910/DVN/HHF4AF