基于去噪文本查询训练和开放世界未知对象监督的开放词汇 DETR
计算机视觉与模式识别
2024-08-22 v2 人工智能
摘要
开放词汇检测旨在检测超出基础类别（即检测器训练所属的类别）的新类别目标。然而，现有在基础类别数据上训练的开放词汇检测器倾向于为训练的类别赋予更高的置信度，并将新类别目标误认为背景。在解决此问题方面，我们提出了 OV-DQUO，即一种 \textbf{O}pen-\textbf{V}ocabulary DETR with \textbf{D}enoising text \textbf{Q}uery training and open-world \textbf{U}nknown \textbf{O}bjects supervision。具体而言，我们引入一种通配符匹配方法。该方法使检测器能够从由开放世界检测器识别的未知目标与通用语义文本嵌入所组成的对中学习，从而减轻基础类别和新类别之间的置信度偏差。此外，我们提出了去噪文本查询训练策略。该策略通过对比学习从开放世界未知目标中合成前景和背景查询-框对来训练检测器，增强其区分新目标与背景的能力。我们在具有挑战性的 OV-COCO 和 OV-LVIS 框架上进行了广泛实验，分别在新类别上实现了 45.6 AP50 和 39.3 mAP 的新的状态突破，无需额外训练数据。模型和代码已发布于 \url{https://github.com/xiaomoguhz/OV-DQUO}。
引用
@article{arxiv.2405.17913,
title = {OV-DQUO: Open-Vocabulary DETR with Denoising Text Query Training and Open-World Unknown Objects Supervision},
author = {Junjie Wang and Bin Chen and Bin Kang and Yulin Li and YiChi Chen and Weizhi Xian and Huifeng Chang and Yong Xu},
journal= {arXiv preprint arXiv:2405.17913},
year = {2024}
}