面向跨域少样本分割的 SAM-Aware 图提示推理网络

跨域少样本分割（CD-FSS）的主要挑战在于训练阶段与推理阶段之间存在领域差异，这种差异可能存在于输入数据或目标类别上。以往模型难以从有限的训练域样本中学习出能够泛化到各种未知领域的特征表示。相比之下，大规模视觉模型 SAM 预训练于数千万张来自不同领域和类别的图像中，具备优异的通用性。本文提出一种 SAM-aware 图提示推理网络（GPRN），充分利用 SAM 指导 CD-FSS 的特征表示学习，以提高预测准确性。具体而言，我们提出了 SAM-aware 提示初始化模块（SPI），将 SAM 生成的掩码转换为包含高级语义信息的视觉提示。由于 SAM 倾向于将对象划分为许多子区域，可能导致代表同一语义对象的视觉提示具有不一致或碎片化的特征。我们进一步提出了图提示推理（GPR）模块，在视觉提示之间构建图结构，以推理它们之间的相互关系，并使每个视觉提示能够聚合来自相似提示的信息，从而实现全局语义一致性。随后，每个视觉提示将其语义信息嵌入相应的掩码区域，以辅助特征表示学习。为在测试时细化分割掩码，我们还设计了一个非参数自适应点选择模块（APS），从查询预测中选择代表性点提示，并将其反馈给 SAM 以细化不准确的分割结果。在四个标准 CD-FSS 数据集上的实验表明，我们的方法在此基础上建立了新的状态突破。代码：https://github.com/CVL-hub/GPRN。