Grounding DINO：将DINO与接地预训练结合用于开放集目标检测

在本文中，我们提出一种开放集目标检测器，称为Grounding DINO，它将基于Transformer的检测器DINO与接地预训练相结合，能够利用类别名称或指代表达式等人类输入检测任意物体。开放集目标检测的关键解决方案是将语言引入封闭集检测器以实现开放集概念泛化。为有效融合语言与视觉模态，我们在概念上将封闭集检测器划分为三个阶段，并提出一种紧密融合方案，包括用于跨模态融合的特征增强器、语言引导查询选择以及跨模态解码器。先前工作主要在新颖类别上评估开放集目标检测，我们则提出同时对具有属性指定的物体的指代表达式理解进行评估。Grounding DINO在所有三种设定下均表现优异，包括在COCO、LVIS、ODinW和RefCOCO/+/g上的基准测试。Grounding DINO在COCO检测零样本迁移基准上取得了$52.5$ AP，即未使用任何COCO训练数据。它在ODinW零样本基准上以平均$26.1$ AP创下新纪录。代码将发布于\url{https://github.com/IDEA-Research/GroundingDINO}。