利用多认知视觉适配器调谐SAM模型以实现遥感实例分割
计算机视觉与模式识别
2024-08-19 v1
摘要
Segment Anything Model（SAM）是一种专为可提示分割任务设计的基础模型，展现出卓越的泛化能力，使其在自然场景图像分割方面极具前景。然而，SAM缺乏在大量遥感图像上的预训练，且其交互式结构限制了其自动掩码预测能力。本文提出了一种基于SAM的多认知实例分割模型（MC-SAM SEG），用于将SAM应用于遥感领域。利用多认知视觉适配器（Mona）的SAM-Mona编码器被用于促进SAM在遥感应用中的迁移学习。所提出的MC-SAM SEG方法通过微调SAM-Mona编码器以及特征聚合器来提取高质量特征。随后，设计了像素解码器和Transformer解码器，用于无提示掩码生成和实例分类。全面的实验分别在合成孔径雷达（SAR）图像和光学遥感图像上进行，在HRSID和WHU数据集上针对实例分割任务展开。评估结果表明，所提出的方法超越了其他深度学习算法，验证了其有效性和泛化能力。
引用
@article{arxiv.2408.08576,
title = {Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation},
author = {Linghao Zheng and Xinyang Pu and Feng Xu},
journal= {arXiv preprint arXiv:2408.08576},
year = {2024}
}