基础视觉任务性能评估的可信度究竟如何？
计算机视觉与模式识别
2022-07-25 v4
摘要
本文考察了涉及目标集合的基础视觉任务（即目标检测、实例级分割与多目标跟踪）的性能评估准则。现有准则对算法的排名会随参数（如交并比（IoU）阈值）的不同选择而波动，使其评估不可靠。更重要的是，目前无法验证我们能否信任某一准则的评估结果。本文提出性能准则的“可信度”概念，其要求：(i) 对参数具有鲁棒性以保证可靠性；(ii) 在合理性检验中具有上下文意义；(iii) 满足度量性质等数学要求的一致性。我们观察到许多广泛使用的准则忽视了这些要求，并探索了使用形状集合度量的替代准则。我们还基于所提出的可信度要求对所有这些准则进行了评估。
引用
@article{arxiv.2008.03533,
title = {How Trustworthy are Performance Evaluations for Basic Vision Tasks?},
author = {Tran Thien Dat Nguyen and Hamid Rezatofighi and Ba-Ngu Vo and Ba-Tuong Vo and Silvio Savarese and Ian Reid},
journal= {arXiv preprint arXiv:2008.03533},
year = {2022}
}
备注
Tran Thien Dat Nguyen and Hamid Rezatofighi have contributed equally