面向语义分割的掩码监督学习

自注意力在语义分割中至关重要，因为它能够建模长程上下文，从而转化为性能提升。我们认为，建模短程上下文同样重要，特别是在处理感兴趣区域既小且模糊，以及存在语义类间不平衡的情况时。为此，我们提出掩码监督学习（MaskSup），一种有效的单阶段学习范式，通过随机掩码捕捉像素间的上下文关系，从而建模短程与长程上下文。实验结果表明，在三个标准基准数据集的二分类和多分类分割任务中，MaskSup 相较于强基线具有竞争力，尤其在处理模糊区域和更好地保留少数类的分割方面，且不增加推理成本。除了即使在输入的大部被掩码时仍能分割目标区域外，MaskSup 还具有通用性，可轻松集成到多种语义分割方法中。我们还表明，所提方法计算高效，在平均交并比（mIoU）上提升 10% 性能的同时，所需可学习参数减少 $3\times$。