多模态语言模型在航空目标检测中的简单基线

基于生成式预训练 Transformer 的多模态语言模型（MLM）被认为是统一各种领域和任务的强大候选者。为遥感（RS）开发的 MLM 已在视觉问答和视觉定位等多个任务中展现出卓越性能。除了检测与给定指令相对应的特定目标的视觉定位之外，航空目标检测（即检测多个类别的所有目标）对于遥感基础模型也是一项有价值且具挑战性的任务。然而，现有的遥感 MLM 尚未探索航空目标检测，因为 MLM 的自回归预测机制与检测结果存在显著差异。在本文中，我们首次提出了一个将 MLM 应用于航空目标检测的简单基线，命名为 LMMRotate。具体而言，我们首先引入一种归一化方法，将检测结果转换为文本输出，以兼容 MLM 框架。然后，我们提出了一种评估方法，确保 MLM 与传统目标检测模型之间的公平比较。我们通过微调开源通用 MLM 构建了该基线，并取得了与传统检测器相媲美的令人印象深刻的检测性能。我们希望该基线能为未来的 MLM 发展提供参考，使其具备理解遥感图像更全面的能力。代码可在 https://github.com/Li-Qingyun/mllm-mmrotate 获取。