基于预测一致性与可靠性的目标检测自动模型评估
计算机视觉与模式识别
2025-10-03 v2 人工智能
机器学习
摘要
近期计算机视觉的进展使目标检测器的训练更加高效有效；然而，评估其在实际应用中的性能仍依赖昂贵的手动标注。为解决这一限制，我们开发了用于目标检测的自动模型评估（AutoEval）框架。我们提出了预测一致性与可靠性（PCR），该方法利用常规检测器在非最大抑制（NMS）之前生成的多个候选边界框。PCR 通过同时衡量 1）NMS 前后框之间的空间一致性，以及 2）通过重叠框的置信度评估保留框的可靠性，来估计无 ground-truth 标签的检测性能。为进行更真实可扩展的评估，我们构建了一个通过应用不同严重程度的图像损坏而构建的 meta 数据集。实验结果表明，PCR 比现有 AutoEval 方法提供更准确的绩效估计，所提出的 meta 数据集覆盖更广泛的检测性能。代码 available at https://github.com/YonseiML/autoeval-det
引用
@article{arxiv.2508.12082,
title = {Automated Model Evaluation for Object Detection via Prediction Consistency and Reliability},
author = {Seungju Yoo and Hyuk Kwon and Joong-Won Hwang and Kibok Lee},
journal= {arXiv preprint arXiv:2508.12082},
year = {2025}
}
备注
ICCV 2025 Oral; v2: fixed a typo in the title and updated experimental results