基于查询的测试时难例图像检索用于目标检测
计算机视觉与模式识别
2023-06-30 v2 机器学习
摘要
长期以来,人们一直关注通过寻找目标检测器性能可能不令人满意的图像来刻画其错误行为。在自动驾驶等现实应用中,除检测性能的简单要求外,刻画潜在失败也至关重要。例如,相较于远处汽车的漏检,靠近自车行人的漏检通常需要更仔细的审查。在测试时预测此类潜在失败的问题在很大程度上被文献所忽视,而基于检测不确定性的常规方法在这方面存在不足,因为它们对这种错误的细粒度刻画是不可知的。在本工作中,我们提议将寻找“难”图像的问题重新表述为基于查询的难例图像检索任务,其中查询是“难度”的具体定义,并给出一种简单直观的方法,可针对一大类查询解决该任务。我们的方法完全事后,不需要真值标注,独立于检测器的选择,并依赖于一种高效的蒙特卡洛估计,该估计使用简单的随机模型替代真值。我们通过实验表明,它可成功应用于多种查询,能在无任何标注数据的情况下为给定检测器可靠识别难例图像。我们使用广泛使用的 RetinaNet、Faster-RCNN、Mask-RCNN 与 Cascade Mask-RCNN 目标检测器,给出了排序与分类任务上的结果。本项目代码见 https://github.com/fiveai/hardest。
引用
@article{arxiv.2209.11559,
title = {Query-based Hard-Image Retrieval for Object Detection at Test Time},
author = {Edward Ayers and Jonathan Sadeghi and John Redford and Romain Mueller and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2209.11559},
year = {2023}
}