面向遥感图像的点监督分段模型 PointSAM
计算机视觉与模式识别
2025-01-14 v2
摘要
分段模型(SAM)是一种先进的图像分割基础模型,正逐渐被应用于遥感图像( RSI)。由于 RSI 与自然图像之间的领域差异,传统方法通常将 SAM 作为源预训练模型,并使用全监督掩码进行微调。与这些方法不同,我们的工作聚焦于使用更便捷且具有挑战性的点注释对 SAM 进行微调。利用 SAM 的零样能力,我们采用自训练框架迭代生成用于训练的伪标签。然而,如果伪标签包含噪声标签,则存在误差累积的风险。为解决此问题,我们从目标数据集中提取目标原型,并使用匈牙利算法将其与预测原型匹配,从而防止模型学习错误方向。此外,由于 RSI 中背景复杂且目标稠密分布,使用点提示可能导致多个对象被识别为一个。为解决此问题,我们提出了一种基于实例掩码非重叠性质的负面提示校准方法。简而言之,我们将重叠掩码的提示用作相应的负面信号,从而得到更精细的掩码。结合上述方法,我们提出一种新的点监督分段模型,命名为 PointSAM。我们在 RSI 数据集上进行实验,包括 WHU、HRSID 和 NWPU VHR-10,结果表明该方法显著优于直接使用 SAM、SAM2 和其他比较方法。此外,我们将 PointSAM 引入点到框转换器,取得令人鼓舞的结果,表明该方法可扩展到其他点监督任务。代码已公开于 https://github.com/Lans1ng/PointSAM。
引用
@article{arxiv.2409.13401,
title = {PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images},
author = {Nanqing Liu and Xun Xu and Yongyi Su and Haojie Zhang and Heng-Chao Li},
journal= {arXiv preprint arXiv:2409.13401},
year = {2025}
}
备注
Accepted by IEEE TGRS