MetaDetect:面向目标检测的不确定性量化与预测质量估计
计算机视觉与模式识别
2020-10-07 v2 机器学习
摘要
在使用深度神经网络的目标检测中,逐框的目标性分数往往过于自信,有时即便在预测不准确时仍指示出高置信度。因此,预测的可靠性以及可靠的不确定性至关重要。本工作中,我们提出一种后处理方法,可为任意给定神经网络提供预测不确定性估计与质量估计。这些估计由一个后处理模型学习得到,该模型以一组手工设计的透明指标作为结构化数据集形式的输入。据此,我们为预测边界框学习两项任务。我们区分真阳性()与假阳性(),称之为元分类,并直接预测 值,称之为元回归。元分类模型的概率旨在学习成功与失败的概率,从而提供一种建模的预测不确定性估计。另一方面,元回归给出质量估计。在数值实验中,我们使用公开可用的 YOLOv3 网络与 Faster-RCNN 网络,并在 Kitti、Pascal VOC 和 COCO 数据集上评估元分类与回归性能。我们证明我们的指标确实与 良好相关。对于元分类,我们获得高达 98.92% 的分类准确率与高达 99.93% 的 AUROC。对于元回归,我们获得高达 91.78% 的 值。这些结果相较其他网络的目标性分数及其他基线方法取得显著改进。因此,我们获得了更可靠的不确定性与质量估计,这在缺乏真值时尤为有意义。
引用
@article{arxiv.2010.01695,
title = {MetaDetect: Uncertainty Quantification and Prediction Quality Estimates for Object Detection},
author = {Marius Schubert and Karsten Kahl and Matthias Rottmann},
journal= {arXiv preprint arXiv:2010.01695},
year = {2020}
}
备注
11 pages, 5 figures, 5 tables