目标检测器的校准：陷阱、评估与基线
计算机视觉与模式识别
2024-06-03 v1
摘要
可靠的目标检测器使用需要它们进行校准——这是一个需要细致关注的关键问题。最近的研究方法包括 (1) 设计新的损失函数，通过从头训练获得校准的检测器，以及 (2) 后验温度缩放(Temperature Scaling, TS)学习缩放训练好的检测器的似然概率，以输出校准的预测。随后，这些方法基于 Detection Expected Calibration Error (D-ECE) 和 Average Precision 的组合进行评估。本文通过大量分析和见解，指出这些最近的评估框架、评估指标以及 TS 的使用存在诸多缺陷，导致错误的结论。为纠正这些问题，我们提出了一个原则性的评估框架，联合衡量目标检测器的校准性和准确性。我们还针对目标检测任务量身定制高效且易用的后验校准方法，如 Platt Scaling 和 Isotonic Regression。与常见观念相反，我们的实验表明，只要设计和评估得当，后验校准器——它们极其便宜且易于构建和使用——比最新的训练时校准方法更强大和有效。为说明这一点，D-DETR 配合我们的后验 Isotonic Regression 校准器，在 COCO 数据集上比最新的训练时 SOTA 校准方法 Cal-DETR 超过 7 个 D-ECE。此外，我们还改进了最近提出的 Localization-aware ECE，展示了我们方法在这些指标上的有效性。代码已公开：https://github.com/fiveai/detection_calibration
引用
@article{arxiv.2405.20459,
title = {On Calibration of Object Detectors: Pitfalls, Evaluation and Baselines},
author = {Selim Kuzucu and Kemal Oksuz and Jonathan Sadeghi and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2405.20459},
year = {2024}
}
备注
31 pages, 8 figures