Grounding DINO 1.5：开启开放集对象检测的'边缘'
计算机视觉与模式识别
2024-06-04 v2
摘要
本文介绍Grounding DINO 1.5，一套由IDEA Research开发的高级开放集对象检测模型，旨在推动开放集对象检测的'边缘'。该套装包含两个模型：Grounding DINO 1.5 Pro，面向更强的跨场景泛化能力而设计的高性能模型；Grounding DINO 1.5 Edge，针对许多应用场景对速度要求更高的高效模型。Grounding DINO 1.5 Pro模型通过放大模型架构、集成增强视觉主干网络，并将训练数据集扩展到超过2000万张带有定位注释的图像，从而实现更丰富的语义理解。Grounding DINO 1.5 Edge模型在保持鲁健检测能力的同时，由于设计为高效并采用较小的特征尺度，实现了速度优化。实证结果表明，Grounding DINO 1.5的效果显著，其中Grounding DINO 1.5 Pro模型在COCO检测基准测试中取得54.3的AP，在LVIS-minival零样态迁移基准测试中取得55.7的AP，创下开放集对象检测的新纪录。此外，经TensorRT优化后的Grounding DINO 1.5 Edge模型在速度上达到75.2 FPS，同时在LVIS-minival基准测试中实现36.2的零样态性能，更适合边缘计算场景。模型示例和演示及API将发布于 https://github.com/IDEA-Research/Grounding-DINO-1.5-API
引用
@article{arxiv.2405.10300,
title = {Grounding DINO 1.5: Advance the "Edge" of Open-Set Object Detection},
author = {Tianhe Ren and Qing Jiang and Shilong Liu and Zhaoyang Zeng and Wenlong Liu and Han Gao and Hongjie Huang and Zhengyu Ma and Xiaoke Jiang and Yihao Chen and Yuda Xiong and Hao Zhang and Feng Li and Peijun Tang and Kent Yu and Lei Zhang},
journal= {arXiv preprint arXiv:2405.10300},
year = {2024}
}
备注
homepage: https://deepdataspace.com/home