RSAM-Seg：一种结合先验知识的基于 SAM 的遥感图像语义分割方法
计算机视觉与模式识别
2025-02-11 v1 图像与视频处理
摘要
高分辨率遥感卫星的发展为遥感相关工作提供了极大便利。面对广阔复杂的遥感图像，特定目标的分割与提取是必不可少的任务。最近，Segment Anything Model (SAM) 的引入为图像分割任务提供了一个通用的预训练模型。虽然直接将 SAM 应用于遥感图像分割任务并不能产生令人满意的结果，但我们提出了 RSAM-Seg（Remote Sensing SAM with Semantic Segmentation），这是专为遥感领域定制的 SAM 修改版，消除了提供提示所需的人工干预。我们在 SAM 编码器部分的多头注意力块中提出了 Adapter-Scale，这是一组补充缩放模块。此外，Adapter-Feature 被插入到 Vision Transformer (ViT) 块之间。这些模块旨在结合高频图像信息和图像嵌入特征以生成图像感知提示。实验在四种不同的遥感场景中进行，涵盖云检测、田间监测、建筑物检测和道路测绘任务。实验结果不仅展示了在云、建筑物、田野和道路场景下相对于原始 SAM 和 U-Net 的改进，还突出了 RSAM-Seg 识别某些数据集中地面真值缺失区域的能力，证实了其作为辅助标注方法的潜力。此外，其在少样本场景下的表现值得称赞，强调了其在处理有限数据集方面的潜力。
引用
@article{arxiv.2402.19004,
title = {RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for Remote Sensing Image Semantic Segmentation},
author = {Jie Zhang and Xubing Yang and Rui Jiang and Wei Shao and Li Zhang},
journal= {arXiv preprint arXiv:2402.19004},
year = {2025}
}
备注
12 pages, 11 figures