通过准确率与召回率评估生成模型
机器学习
2018-10-30 v2 机器学习
摘要
生成建模的最新进展引起了人们对将统计散度作为模型比较手段的日益关注。常用的评估方法，如 Frechet Inception Distance (FID)，与样本感知质量相关性良好，且对模式丢失敏感。然而，这些度量仅产生一维分数，无法区分不同的失败情形。我们提出了一种针对分布的准确率与召回率的新定义，将散度解耦为两个独立维度。所提概念直观、保留理想性质，并自然导出可用于评估生成模型的高效算法。我们将此概念与全变分以及近期评估度量如 Inception Score 和 FID 相关联。为展示所提方法的实用价值，我们对若干变体的生成对抗网络（GAN）与变分自编码器（VAE）进行了实证研究。在大量实验中，我们表明所提度量能够将生成样本的质量与目标分布的覆盖度解耦。
引用
@article{arxiv.1806.00035,
title = {Assessing Generative Models via Precision and Recall},
author = {Mehdi S. M. Sajjadi and Olivier Bachem and Mario Lucic and Olivier Bousquet and Sylvain Gelly},
journal= {arXiv preprint arXiv:1806.00035},
year = {2018}
}
备注
NIPS 2018