学习发现与检测物体
计算机视觉与模式识别
2022-12-01 v2
摘要
我们解决了新颖类别发现与定位（NCDL）问题。在此设定下，我们假设一个源数据集仅对部分物体类别提供监督。其他类别的实例需要根据视觉相似性自动发现、分类和定位，且无需任何人类监督。为应对 NCDL，我们提出了一种两阶段物体检测网络基于区域的 NCDL（RNCDL），其使用区域提议网络来定位感兴趣区域（RoIs）。随后我们训练网络以学习对每个 RoI 进行分类，要么归为源数据集中已见的已知类别之一，要么归为新颖类别之一，并对类别分配施加长尾分布约束，以反映真实世界中类别的自然频率。通过以端到端方式用该目标训练我们的检测网络，它学会了对大量各类别（包括不属于已标注物体类别词表的那些）的所有区域提议进行分类。我们使用 COCO 和 LVIS 数据集进行的实验表明，我们的方法比依赖传统聚类算法的多阶段流程显著更有效。此外，我们通过将方法应用于大规模 Visual Genome 数据集展示了方法的通用性，其中我们的网络成功学会了在无直接监督下检测各种语义类别。
引用
@article{arxiv.2210.10774,
title = {Learning to Discover and Detect Objects},
author = {Vladimir Fomenko and Ismail Elezi and Deva Ramanan and Laura Leal-Taixé and Aljoša Ošep},
journal= {arXiv preprint arXiv:2210.10774},
year = {2022}
}
备注
Accepted to NeurIPS 2022, Homepage: https://vlfom.github.io/RNCDL/