AerOSeg：利用SAM实现遥感图像的开放词汇分割

超出预定义类别的图像分割是遥感领域的关键挑战，因为 novel and unseen classes 常在推断期间出现。开放词汇图像分割（OVS）方法解决了传统监督分割模型中的泛化问题，同时减少了对大量像素标注的依赖，这些标注获取成本高昂且耗时。大多数开放词汇分割（OVS）方法针对自然图像设计，却难以处理遥感数据由于尺度变化、姿态变化和复杂场景构成的挑战。这迫切需要开发专为遥感数据设计的OVS方法。本文中，我们提出了AerOSeg，这是一种针对遥感数据的新型OVS方法。首先，我们通过对输入图像的多个旋转版本和领域特定提示计算稳健的图像-文本关联特征。随后，这些特征通过空间和类别精炼模块进行细化。灵感来自Segment Anything Model（SAM）在各类领域的成功，我们利用SAM特征来指导关联特征的空间精炼。此外，我们引入语义回投模块和损失，以确保SAM的语义信息在分割管道中无缝传递。最后，我们通过多尺度注意力感知解码器来增强细化后的关联特征，以生成最终的分割图。我们在三个遥感基准数据集上验证了SAM引导的开放词汇遥感分割模型：iSAID、DLRSD和OpenEarthMap。我们的模型在各种开放词汇分割方法中均优于SOTA，平均提高了2.54个mIoU。