面向SAM辅助的少样本分割的前景覆盖原型生成与匹配

我们提出了前景覆盖原型生成与匹配方法，以解决少样本分割（Few-Shot Segmentation, FSS）问题，该问题旨在基于标记支持图像对无标记查询图像中的目标区域进行分割。与现有研究不同，本文不仅利用支持原型和查询像素来估计目标区域，更利用支持原型与查询原型之间的关系。为此，我们采用两种互补特征：SAM图像编码器特征用于像素聚合，ResNet特征用于类别一致性。具体而言，我们使用SAM特征构建支持原型和查询原型，并基于ResNet特征区分目标区域的查询原型。对于查询原型的构建，我们首先利用常规伪掩码在SAM特征中大致引导前景区域，然后采用迭代跨注意力机制将前景特征聚合到可学习的标记中。我们发现跨注意力权重能够有效交替常规伪掩码。因此，我们使用基于注意力的伪掩码引导ResNet特征聚焦于前景，将引导后的ResNet特征输入可学习的标记，以生成与类别一致的查询原型。支持原型的生成与查询原型对称进行，伪掩码被替换为真实掩码。最后，我们将查询原型与支持原型进行比较，以生成提示，随后通过SAM解码器生成对象掩码。在多个数据集上的最先进性能验证了所提方法在FSS中的有效性。我们的官方代码已公开：https://github.com/SuhoPark0706/FCP。