对称联合学习支持查询原型用于少样本分割

我们提出Sym-Net，一个用于少样本分割（FSS）的新型框架，解决类别内变异的关键问题，通过对称方式联合学习查询和支持原型。不同于以往仅通过匹配查询特征到支持原型来生成查询原型的方法（这是一种对少样本支持样本的偏置学习），Sym-Net利用平衡的对称学习方法处理查询和支持原型，确保学习过程不会偏向其中一组（支持或查询）。Sym-Net的一个主要模块是基于视觉-文本对齐的原型聚合模块，它不仅是查询引导的原型细化，更是从支持和查询样本中联合学习，这使得模型对处理类别内差异非常有利，并能更好地泛化到新的、未见的类别。具体而言，设计了一个无参数的先验掩码生成模块，通过使用不同大小的滑动窗口和自激活内核来准确局部化查询对象的局部和全局区域，以抑制不正确的背景匹配。此外，为解决空间池化在原型学习中导致的信息损失，集成了一个自上而下的超相关模块来捕获支持和查询图像之间的多尺度空间关系。该方法通过实施协优化的硬三角形挖掘策略进行联合优化。实验结果表明，所提出的Sym-Net在性能上优于状态的最佳模型，表明对FSS进行对称联合学习支持查询原型是提高分割性能、在有限标注数据下效果更佳的有前景的方向。