基础模型时代的开放世界目标检测
计算机视觉与模式识别
2023-12-12 v1 人工智能
摘要
目标检测是许多现实世界应用不可或缺的一部分，从机器人技术到医学图像分析。为了在这些应用中可靠使用，模型必须能够处理意外——或新颖——的物体。开放世界目标检测（OWD）范式通过使模型能够检测未知物体并增量地学习已发现的物体来应对这一挑战。然而，由于严格的基准和任务定义，OWD 方法的开发受到阻碍。这些定义实际上排除了基础模型。在此，我们旨在放宽这些定义，并研究在 OWD 中利用预训练基础模型。首先，我们表明现有基准不足以评估利用基础模型的方法，因为即使是朴素的集成方法也几乎使这些基准饱和。这一结果促使我们为这些模型策划一个新的、具有挑战性的基准。因此，我们引入了一个新的基准，它包含五个现实世界的应用驱动数据集，包括航空和手术图像等具有挑战性的领域，并建立了基线。我们利用应用驱动数据集中类别之间的内在联系，引入了一种新方法，即面向开放世界的基础目标检测模型，或称 FOMO，该方法基于未知物体与已知基础物体共享的属性来识别未知物体。在我们的基准上，FOMO 的未知物体 mAP 约为基线的 3 倍。然而，我们的结果表明仍有巨大的改进空间——这表明在进一步将目标检测方法扩展到现实世界领域方面存在巨大的研究机会。我们的代码和基准可在 https://orrzohar.github.io/projects/fomo/ 获取。
引用
@article{arxiv.2312.05745,
title = {Open World Object Detection in the Era of Foundation Models},
author = {Orr Zohar and Alejandro Lozano and Shelly Goel and Serena Yeung and Kuan-Chieh Wang},
journal= {arXiv preprint arXiv:2312.05745},
year = {2023}
}