条件生成模型的分类准确率分数
机器学习
2019-10-29 v2 机器学习
摘要
图像深度生成模型（DGMs）现已足够成熟，能生成近乎照片级真实的样本，并在 Frechet Inception Distance（FID）等启发式指标上获得与数据分布相近的分数。这些结果，尤其在 ImageNet 等大规模数据集上，表明 DGMs 正在感知有意义的空间中学习数据分布，并可用于下游任务。为检验后一假设，我们使用来自若干模型类的类条件生成模型——变分自编码器、自回归模型与生成对抗网络（GANs）——来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器，并用该分类器预测真实数据标签来执行此推断。该任务上的性能，我们称之为分类准确率分数（CAS），揭示了传统指标未识别的一些令人惊讶的结果，并构成我们的贡献。首先，当使用最先进的 GAN（BigGAN-deep）时，Top-1 与 Top-5 准确率相较原始数据分别下降 27.9% 与 41.6%；且来自其他模型类的条件生成模型，如 Vector-Quantized Variational Autoencoder-2（VQ-VAE-2）与 Hierarchical Autoregressive Models（HAMs），在此基准上大幅优于 GANs。其次，CAS 自动暴露出生成模型未能捕捉数据分布的特定类别，而这些此前在文献中未知。第三，我们发现传统 GAN 指标如 Inception Score（IS）与 FID 既无法预测 CAS，在评估非 GAN 模型时也无用处。此外，为便于更好地诊断生成模型，我们开源了所提出的指标。
引用
@article{arxiv.1905.10887,
title = {Classification Accuracy Score for Conditional Generative Models},
author = {Suman Ravuri and Oriol Vinyals},
journal= {arXiv preprint arXiv:1905.10887},
year = {2019}
}