基于高激活特征指数相似性与目标检测对半监督分割中的伪标签进行加权

半监督语义分割方法通过伪标签化利用未标记数据。因此，这些 method 的成功取决于伪标签的可靠性。现有方法大多选择 high-confidence 像元以避免错误的伪标签。然而，high confidence 并不保证伪标签正确，尤其在初始训练迭代中。本 paper 提出了一种可靠学习伪标签的新方法。首先，我们统一来自训练好的目标检测器和语义分割模型的预测，以识别可靠的伪标签像元。其次，我们为伪标签像元分配不同的学习权重，以避免 noisy training signal。为确定这些权重，我们首先使用从第一个步骤中识别的可靠伪标签像元和标记像元为每个 class 构建 prototype。然后，per-pixel weight 是测量像元与 prototype 之间结构相似性的 rank-statistics similarity。这种 metric 对 noise 鲁棒，特别适合用于比较初始训练阶段未标记图像中特征（此时容易出现错误伪标签）。我们表明该 method 可轻易集成到四个半监督语义分割 framework 中，并在 Cityscapes 和 Pascal VOC 数据集上取得改进。