Lenna：语言增强的推理检测助手
计算机视觉与模式识别
2023-12-06 v1
摘要
随着多模态大型语言模型（MLLM）的快速发展，我们现在可以用自然语言与 AI 系统对话以理解图像。然而，大型语言模型中蕴含的推理能力和世界知识在图像感知任务中却很少被研究和利用。在本文中，我们提出了 Lenna，一个语言增强的推理检测助手，它利用 MLLM 鲁棒的多模态特征表示，同时为检测保留位置信息。这是通过在 MLLM 词表中引入一个额外的 <DET> 标记来实现的，该标记不含显式的语义上下文，而是作为提示让检测器识别相应的位置。为了评估 Lenna 的推理能力，我们构建了一个 ReasonDet 数据集，以衡量其在基于推理的检测上的性能。值得注意的是，Lenna 在 ReasonDet 上表现出色，且训练成本极低。当扩展到其他任务时，它也产生了最小的迁移开销。我们的代码和模型将在 https://git.io/Lenna 提供。
引用
@article{arxiv.2312.02433,
title = {Lenna: Language Enhanced Reasoning Detection Assistant},
author = {Fei Wei and Xinyu Zhang and Ailing Zhang and Bo Zhang and Xiangxiang Chu},
journal= {arXiv preprint arXiv:2312.02433},
year = {2023}
}