用于排序算法评估的总体与经验 PR 曲线
机器学习
2018-10-23 v1 机器学习
统计方法学
摘要
ROC 曲线被广泛用于评估预测/分类/排序算法的质量，其性质已被充分研究。精确率-召回率（PR）曲线在不平衡（即一类远多于另一类）情形下已成为 ROC 曲线事实上的替代。尽管 PR 与 ROC 曲线往往被互换使用，它们具有一些非常不同的性质。本文聚焦于 PR 曲线的性质。我们考虑：(1) 总体 PR 曲线，其中对两类的得分完全指定分布假设；以及 (2) PR 曲线的经验估计量，其中我们观测得分且不作分布假设。这些性质对 PR 曲线应当以及如何不应被使用具有直接后果。例如，当主要感兴趣类的得分来自离散分布时，经验 PR 曲线不一致。另一方面，对来自连续定义得分的经验 PR 曲线上的点，正态近似可拟合得相当好，但收敛性会严重受分布设定、不平衡程度以及 PR 曲线上感兴趣点的影响。
引用
@article{arxiv.1810.08635,
title = {Population and Empirical PR Curves for Assessment of Ranking Algorithms},
author = {Jacqueline M. Hughes-Oliver},
journal= {arXiv preprint arXiv:1810.08635},
year = {2018}
}