重新审视生成模型评估中的准确率与召回率定义
机器学习
2023-07-03 v1 计算机视觉与模式识别
机器学习
摘要
本文重新审视 Sajjadi 等人（arXiv:1806.00035）提出的生成模型准确率-召回率（PR）曲线定义。PR 曲线并非给出生成质量的标量，而是区分模式坍塌（低召回率）与质量不佳（低准确率）。我们首先将其公式推广到任意测度，从而去除对有限支撑的限制。我们还揭示了 PR 曲线与似然比分类器在判别两分布样本任务中的第一类与第二类错误率之间的桥梁。基于这一新视角，我们提出一种近似准确率-召回率曲线的新算法，该算法与 Lopez-Paz 等人（arXiv:1610.06545）的假设检验技术具有若干有趣的方法论共性。我们在受控多模态数据集上展示了所提公式相对于原始方法的优势。
引用
@article{arxiv.1905.05441,
title = {Revisiting Precision and Recall Definition for Generative Model Evaluation},
author = {Loïc Simon and Ryan Webster and Julien Rabin},
journal= {arXiv preprint arXiv:1905.05441},
year = {2023}
}
备注
ICML 2019