Popeye：一种用于遥感图像多源舰船检测的统一视觉语言模型
计算机视觉与模式识别
2024-06-14 v2
摘要
舰船检测需要从遥感场景中识别舰船位置。由于不同的成像载荷、舰船的各种外观以及从鸟瞰视角看到的复杂背景干扰，设定统一的范式来实现多源舰船检测存在困难。为解决这一挑战，本文提出了一种称为 Popeye 的统一视觉语言模型，用于从遥感图像中进行多源舰船检测。具体而言，为弥合多源图像在舰船检测中的解释差距，设计了一种新颖的统一标注范式，以整合不同的视觉模态和各种舰船检测方式，即水平边界框 (HBB) 和倾斜边界框 (OBB)。随后，设计了混合专家编码器，以细化多尺度视觉特征，从而增强视觉感知。然后，开发了一种视觉语言对齐方法，用于增强 Popeye etween visual and language content 的交互理解能力。此外，还提出了一种指令适应机制，用于将预训练的视觉语言知识从自然场景迁移到遥感领域以实现多源舰船检测。此外，还无缝集成了 segment anything model (SAM)，以实现无需额外训练的像素级舰船分割。最后，在在新构建的舰船指令数据集 MMShip 上进行了大量实验，结果表明，所提出的 Popeye 在零样本多源舰船检测方面优于当前的专家模型、开放词汇模型和其他视觉语言模型。
引用
@article{arxiv.2403.03790,
title = {Popeye: A Unified Visual-Language Model for Multi-Source Ship Detection from Remote Sensing Imagery},
author = {Wei Zhang and Miaoxin Cai and Tong Zhang and Guoqiang Lei and Yin Zhuang and Xuerui Mao},
journal= {arXiv preprint arXiv:2403.03790},
year = {2024}
}