基于生成模型潜在空间评估样本质量

生成模型的进步增加了对样本质量评估的需求。以往的方法依赖预训练的特征提取器将生成样本和真实样本嵌入到常见空间进行比较。然而，不同的特征提取器可能导致不一致的评估结果。此外，这些方法不适用于尚不存在稳健、通用特征提取器的领域，如医学图像或3D资产。在本文中，我们提出直接检查已训练生成模型的潜在空间以推断生成样本质量。这一方法之所以可行，是因为生成样本的质量直接关系到其类似训练数据的量，我们可以通过检查潜在空间的密度来推断此信息。因此，我们使用潜在密度评分函数来量化样本质量。我们展示，所提出的评分方法与包括VAEs、GAN和潜在扩散模型在内的各种生成模型的样本质量高度相关。与以往的质量评估方法相比，我们的方法具有以下优势：1）生成前的质量估计，计算成本降低；2）适用于各种领域和模态；3）适用于潜在基于图像编辑和生成方法。广泛的实验表明，我们的方法可为少样本图像分类和潜在人脸图像编辑等下游任务带来益处。代码已公开。