使用图像特征高斯混合评估生成网络

Lorenzo Luzi; Carlos Ortiz Marrero; Nile Wynar; Richard G. Baraniuk; Michael J. Henry

使用图像特征高斯混合评估生成网络

计算机视觉与模式识别 2022-07-26 v2 机器学习

作者: Lorenzo Luzi , Carlos Ortiz Marrero , Nile Wynar , Richard G. Baraniuk , Michael J. Henry

摘要

我们提出了一种在给定两组图像时评估生成网络性能的度量方法。目前广泛使用的性能度量是 Fréchet Inception Distance (FID)。FID 假设使用 Inception-v3 倒数第二层提取特征的图像服从高斯分布，若要将 FID 作为度量指标，这一假设不可违背。然而，我们表明 ImageNet 数据集的 Inception-v3 特征并非高斯分布；具体而言，每一个边际分布都不是高斯的。为弥补该问题，我们使用高斯混合模型 (GMMs) 对特征化图像建模，并计算限定于 GMMs 的 2-Wasserstein 距离。我们定义了一种性能度量，称为 WaM，对两组图像使用 Inception-v3（或其他分类器）提取特征，估计两个 GMMs，并利用受限的 $2$ -Wasserstein 距离比较这些 GMMs。我们通过实验展示了 WaM 相对于 FID 的优势，包括 FID 对难以察觉的图像扰动比 WaM 更敏感。通过将 Inception-v3 得到的非高斯特征建模为 GMMs 并使用 GMM 度量，我们可以更准确地评估生成网络性能。

关键词

生成网络 Fréchet Inception Distance 高斯混合模型 Wasserstein 距离图像特征性能评估

引用

@article{arxiv.2110.05240,
  title  = {Evaluating generative networks using Gaussian mixtures of image features},
  author = {Lorenzo Luzi and Carlos Ortiz Marrero and Nile Wynar and Richard G. Baraniuk and Michael J. Henry},
  journal= {arXiv preprint arXiv:2110.05240},
  year   = {2022}
}

使用图像特征高斯混合评估生成网络

摘要

关键词

引用

相关论文