DetToolChain：一种释放多模态大语言模型检测能力的新型提示范式
计算机视觉与模式识别
2024-07-24 v3 人工智能
摘要
我们提出DetToolChain，一种新型提示范式，旨在释放多模态大语言模型(MLLMs)（如GPT-4V和Gemini）的零样本目标检测能力。我们的方法包含一个受高精度检测先验启发的检测提示工具包，以及一个实现这些提示的新型思维链。具体而言，工具包中的提示旨在引导MLLM关注区域信息（如放大）、根据测量标准读取坐标（如叠加标尺和圆规），以及从上下文信息进行推断（如叠加场景图）。基于这些工具，新的检测思维链能够自动将任务分解为简单的子任务、诊断预测，并规划逐步的边界框优化。我们的框架在一系列检测任务中，尤其是在困难案例上，展现了有效性。与现有最先进方法相比，配备DetToolChain的GPT-4V在开放词汇检测的MS COCO Novel类别集上，将最先进目标检测器的AP50提升了+21.5%；在零样本指代表达理解的RefCOCO验证集上，Acc提升了+24.23%；在D-cube描述目标检测FULL设置上，AP提升了+14.5%。
引用
@article{arxiv.2403.12488,
title = {DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM},
author = {Yixuan Wu and Yizhou Wang and Shixiang Tang and Wenhao Wu and Tong He and Wanli Ouyang and Philip Torr and Jian Wu},
journal= {arXiv preprint arXiv:2403.12488},
year = {2024}
}