一度量以衡之：用于评估视觉检测任务的定位召回精度（LRP）
计算机视觉与模式识别
2021-11-23 v3
摘要
尽管平均精度（AP）作为视觉检测任务的性能度量被广泛使用，但其在（i）反映定位质量、（ii）可解释性以及（iii）对其计算相关设计选择的鲁棒性，及其对无置信度分数输出的适用性方面存在局限。全景质量（PQ）是 Kirillov 等人（2019）提出的用于评估全景分割的度量，不受这些局限影响，但仅限于全景分割。本文中，我们提出定位召回精度（LRP）误差，作为视觉检测器的平均匹配误差，基于给定置信度分数阈值下的定位与分类质量计算。LRP 误差最初由 Oksuz 等人（2018）仅针对目标检测提出，不受上述局限影响，且适用于所有视觉检测任务。我们还引入最优 LRP（oLRP）误差，作为置信度分数上获得的 LRP 误差最小值，以评估视觉检测器并获取部署的最优阈值。我们提供了 LRP 误差与 AP 及 PQ 的详细比较分析，并使用十个数据集、来自七类视觉检测任务（即目标检测、关键点检测、实例分割、全景分割、视觉关系检测、零样本检测与广义零样本检测）的近 100 个最先进视觉检测器，实证表明 LRP 误差比其对应度量提供了更丰富且更具判别力的信息。代码见：https://github.com/kemaloksuz/LRP-Error
引用
@article{arxiv.2011.10772,
title = {One Metric to Measure them All: Localisation Recall Precision (LRP) for Evaluating Visual Detection Tasks},
author = {Kemal Oksuz and Baris Can Cam and Sinan Kalkan and Emre Akbas},
journal= {arXiv preprint arXiv:2011.10772},
year = {2021}
}
备注
Accepted to TPAMI