逼近生成图像质量的人类判断
计算机视觉与模式识别
2019-12-30 v1 机器学习
机器学习
摘要
生成模型近年来取得了巨大进展，尤其在生成高质量图像的能力方面。然而，该质量一直难以严格评估，评估主要由与人类判断相关性不佳的启发式方法主导，例如 Inception Score 和 Fréchet Inception Distance。真实人类标注也曾用于评估，但为每张图像收集标注效率低且成本高。在此，我们提出一种新方法，基于人类感知的图像质量自动评估图像。我们不仅从 Inception 网络激活生成图像嵌入并将其与真实图像的激活进行比较（其他方法也以某种变体执行此操作），还将激活统计回归以匹配黄金标准人类标注，从而展示出在预测图像真实感人类评分方面达到 66% 的准确率，与人类评分者间一致率相当。我们的方法还可跨生成模型泛化，表明其有潜力捕捉一种与模型无关的图像质量度量。我们开源了人类标注数据集，以推动该领域的研究与技术发展。
引用
@article{arxiv.1912.12121,
title = {Approximating Human Judgment of Generated Image Quality},
author = {Y. Alex Kolchinski and Sharon Zhou and Shengjia Zhao and Mitchell Gordon and Stefano Ermon},
journal= {arXiv preprint arXiv:1912.12121},
year = {2019}
}
备注
To appear in the Shared Visual Representations in Human and Machine Intelligence workshop at NeurIPS 2019. The first two authors contributed equally to the manuscript