基于高效融合头的实时 Transformer 开放词汇检测
计算机视觉与模式识别
2024-12-03 v2 计算与语言
摘要
端到端基于 Transformer 的检测器（DETRs）通过整合语言模态，在闭集和开放词汇目标检测（OVD）任务中均表现出卓越性能。然而，其苛刻的计算需求阻碍了其在实时目标检测（OD）场景中的实际应用。在本文中，我们 scrutinize 了 OVDEval 基准测试中两个领先模型 OmDet 和 Grounding-DINO 的局限性，并引入了 OmDet-Turbo。这种新颖的基于 Transformer 的实时 OVD 模型具备创新的 Efficient Fusion Head (EFH) 模块，旨在缓解 OmDet 和 Grounding-DINO 中观察到的瓶颈。值得注意的是，应用 TensorRT 和语言缓存技术后，OmDet-Turbo-Base 实现了 100.2 帧每秒（FPS）的速度。此外，在 COCO 和 LVIS 数据集的零样本场景中，OmDet-Turbo 达到了与当前最先进监督模型几乎相当的性能水平。 furthermore，它在 ODinW 和 OVDEval 上建立了新的最先进基准，AP 分别为 30.1，NMS-AP 为 26.86。OmDet-Turbo 在基准数据集上的卓越表现和 superior 推理速度突显了其在工业应用中的实用性，使其成为实时目标检测任务的有力选择。代码：\url{https://github.com/om-ai-lab/OmDet}
引用
@article{arxiv.2403.06892,
title = {Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head},
author = {Tiancheng Zhao and Peng Liu and Xuan He and Lu Zhang and Kyusong Lee},
journal= {arXiv preprint arXiv:2403.06892},
year = {2024}
}
备注
Preprint