面向广义少样本语义分割的预测校准

广义少样本语义分割（GFSS）旨在将每张图像像素分割为具有充足训练样本的基类，或仅每类极少（如 1-5 张）训练图像的新类。相较于广泛研究、仅限于分割新类的少样本语义分割（FSS），GFSS 虽更实用却研究甚少。现有 GFSS 方法基于分类器参数融合，即将新训练的新类分类器与预训练基类分类器结合形成新分类器。由于训练数据由基类主导，该方法不可避免地偏向基类。本文中，我们提出一种新颖的预测校准网络 PCN 以解决该问题。我们不融合分类器参数，而是融合由基类与新类分类器分别产生的分数。为确保融合分数不偏向基类或新类任一方，引入了基于 Transformer 的新校准模块。已知低层特征比高层特征更利于检测输入图像中的边缘信息，因此我们构建了交叉注意力模块，利用融合的多层特征引导分类器的最终预测。然而，Transformer 计算开销大。关键在于，为使所提交叉注意力模块在像素级可训练，该模块基于特征-分数互协方差设计，并以情景式训练使其在推理时具备泛化能力。在 PASCAL-$5^{i}$ 与 COCO-$20^{i}$ 上的大量实验表明，我们的 PCN 大幅优于最先进的替代方法。