RSPrompter：基于视觉基础模型学习提示以用于遥感实例分割
计算机视觉与模式识别
2023-11-30 v2
摘要
利用来自SA-1B的大规模训练数据，Segment Anything Model（SAM）展现出卓越的泛化与零样本能力。然而，作为一种类别无关的实例分割方法，SAM严重依赖先前的手动引导，包括点、框与粗粒度掩码。此外，其在遥感图像分割任务中的表现仍基本未被探索与验证。本文旨在基于基础SAM模型并融入语义类别信息，开发一种面向遥感图像的自动化实例分割方法。受提示学习启发，我们提出一种学习为SAM生成恰当提示的方法。这使SAM能为遥感图像产出语义可辨的分割结果，我们将此概念称为RSPrompter。我们还基于SAM社区近期进展，提出若干面向实例分割任务的衍生方法，并与RSPrompter进行性能比较。源自WHU building、NWPU VHR-10与SSDD数据集的大量实验结果，验证了我们所提方法的有效性。我们的方法代码公开于kychen.me/RSPrompter。
引用
@article{arxiv.2306.16269,
title = {RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model},
author = {Keyan Chen and Chenyang Liu and Hao Chen and Haotian Zhang and Wenyuan Li and Zhengxia Zou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2306.16269},
year = {2023}
}