基于对象的 Few-Shot 分割相关性

Few-shot 语义分割旨在仅凭少数标注支持样本，对查询图像中的新类别目标进行分割。现有方法主要在支持目标对象与整个查询图像之间构建图像级相关性。然而，这种相关性包含难以追踪和抑制的硬像素噪声，即与目标无关的背景对象，导致背景过拟合。为解决此限制，我们仿生视觉过程，在对象级信息中识别新对象。针对一般对象中的目标识别比整个图像中更有效，尤其在数据有限的情况下。基于此，我们设计了对象级相关网络（OCNet），通过在支持目标对象与查询一般对象之间建立对象级相关性实现目标识别，主要由通用对象挖掘模块（GOMM）和相关性构建模块（CCM）组成。具体而言，GOMM 通过学习显著性和高层相似性线索来构建查询中一般对象的特征，其中一般对象包括无关背景对象和目标前景对象。随后，CCM 通过将目标原型分配以匹配一般对象特征来建立对象级相关性。生成的对象级相关性可用于挖掘查询目标特征并抑制硬像素噪声，以实现最终预测。在 PASCAL-${5}^{i}$ 和 COCO-${20}^{i}$ 上的大量实验表明，我们的模型在状态-of-the-art 性能方面取得了卓越成绩。