RS2-SAM2：面向指代遥感图像分割的定制化 SAM2

指代遥感图像分割旨在根据文本描述分割遥感（RS）图像中的目标对象。尽管 Segment Anything Model 2（SAM2）在各种分割任务中表现出色，但将其应用于 RRSIS 面临若干挑战，包括理解文本描述的 RS 场景以及从文本生成有效的提示。为解决这些问题，我们提出了 \textbf{RS2-SAM2}，一种通过适配 RS 特征与文本特征并提供基于伪掩码的密集提示，将 SAM2 适配于 RRSIS 的新框架。具体而言，我们采用联合编码器对视觉与文本输入进行联合编码，生成对齐的视觉与文本嵌入以及多模态类标记。引入双向分层融合模块以将 SAM2 适配至 RS 场景，并将适配后的视觉特征与视觉增强的文本嵌入相对齐，从而提升模型对文本描述 RS 场景的解读能力。为向 SAM2 提供精确的目标线索，我们设计了掩码提示生成器，其以视觉嵌入与类标记为输入，生成伪掩码作为 SAM2 的密集提示。在多个 RRSIS 基准上的实验结果表明，RS2-SAM2 实现了 SOTA 性能。