一个开放且全面的统一物体定位与检测流水线
计算机视觉与模式识别
2024-01-08 v2
摘要
Grounding-DINO是一种最先进的开放集检测模型，可处理多个视觉任务，包括开放词汇检测(OVD)、短语定位(PG)和指代表达理解(REC)。其有效性使其被广泛采用为各种下游应用的主流架构。然而，尽管其重要性，由于训练代码未公开，原始的Grounding-DINO模型缺乏全面的公开技术细节。为了弥补这一差距，我们提出了MM-Grounding-DINO，一个开源、全面且用户友好的基线，它基于MMDetection工具箱构建。它采用丰富的视觉数据集进行预训练，并使用各种检测和定位数据集进行微调。我们对每个报告的结果和用于复现的详细设置进行了全面分析。在所述基准上的大量实验表明，我们的MM-Grounding-DINO-Tiny优于Grounding-DINO-Tiny基线。我们将所有模型发布给研究社区。代码和训练好的模型发布在https://github.com/open-mmlab/mmdetection/tree/main/configs/mm_grounding_dino。
引用
@article{arxiv.2401.02361,
title = {An Open and Comprehensive Pipeline for Unified Object Grounding and Detection},
author = {Xiangyu Zhao and Yicheng Chen and Shilin Xu and Xiangtai Li and Xinjiang Wang and Yining Li and Haian Huang},
journal= {arXiv preprint arXiv:2401.02361},
year = {2024}
}
备注
10 pages, 6 figures