面向生成模型可靠评估的概率精度与召回
机器学习
2024-01-25 v1 计算机视觉与模式识别
摘要
评估生成模型的保真度与多样性是一项困难却重要的问题，关乎技术进步。因此，近期论文引入了基于 k-最近邻（NN）的精度-召回度量，将统计距离拆解为保真度与多样性。尽管它们提供了直观的方法，我们深入分析了这些度量，并识别出 kNN 的过度简化假设与不良性质会导致不可靠评估，例如对离群点敏感以及对分布变化不敏感。为此，我们提出基于概率方法的新度量 P-precision 与 P-recall（PP&PR），以解决上述问题。通过在玩具实验与最先进生成模型上的广泛研究，我们表明我们的 PP&PR 相比现有度量能为保真度与多样性的比较提供更可靠的估计。代码见 \url{https://github.com/kdst-team/Probablistic_precision_recall}。
引用
@article{arxiv.2309.01590,
title = {Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models},
author = {Dogyun Park and Suhyun Kim},
journal= {arXiv preprint arXiv:2309.01590},
year = {2024}
}