半监督开放世界目标检测
计算机视觉与模式识别
2024-04-15 v1
摘要
传统的开放世界目标检测 (OWOD) 问题设定首先区分已知类和未知类，然后在后续任务中引入标签时增量学习未知物体。然而，当前的 OWOD 公式在增量学习阶段严重依赖外部人类 oracle 进行知识输入。这种对运行时的依赖使得该公式在实际世界部署中不太现实。为此，我们引入了一种更现实的公式，名为半监督开放世界检测 (SS-OWOD)，通过以半监督方式重塑 OWOD 的增量学习阶段来降低标注成本。我们证明，最先进的 OWOD 检测器在提出的 SS-OWOD 设定下性能急剧下降。因此，我们引入了一种名为 SS-OWFormer 的新型 SS-OWOD 检测器，它利用特征对齐方案更好地对齐原始图像和增强图像之间的对象查询表示，以利用大量未标注数据和少量标注数据。我们进一步引入了一种用于未知检测的伪标签方案，该方案利用了 decoder 对象查询捕获对象特定信息的固有能力的。我们证明了我们的 SS-OWOD 问题设定和方法在遥感目标检测中的有效性，提出了精心策划的分割和基线性能评估。我们在包括 MS COCO、PASCAL、Objects365 和 DOTA 在内的 4 个数据集上的实验证明了该方法的有效性。我们的源代码、模型和分割数据可在此获取：https://github.com/sahalshajim/SS-OWFormer
引用
@article{arxiv.2402.16013,
title = {Semi-supervised Open-World Object Detection},
author = {Sahal Shaji Mullappilly and Abhishek Singh Gehlot and Rao Muhammad Anwer and Fahad Shahbaz Khan and Hisham Cholakkal},
journal= {arXiv preprint arXiv:2402.16013},
year = {2024}
}
备注
Accepted to AAAI 2024 (Main Track)