广义少样本语义分割
计算机视觉与模式识别
2022-06-01 v4
摘要
训练语义分割模型需要大量精细标注数据，难以快速适配不满足此条件的新类别。少样本分割（FS-Seg）在诸多约束下解决该问题。本文引入称为广义少样本语义分割（GFS-Seg）的新基准，以分析同时分割极少样本新类别与充足样本基类别的泛化能力。这是首项表明以往具代表性的 SOTA FS-Seg 方法在 GFS-Seg 中不足、且性能差异主要源于 FS-Seg 受限设定的研究。为使 GFS-Seg 可处理，我们建立了在原始模型上无需结构改动即可取得尚可性能的 GFS-Seg 基线。随后，由于上下文对语义分割至关重要，我们提出上下文感知原型学习（CAPL），通过 1）利用支持样本的共现先验知识，以及 2）基于每幅查询图像的内容动态丰富分类器的上下文信息，显著提升性能。两项贡献均经实验证明具有实质实用价值。在 Pascal-VOC 与 COCO 上的大量实验彰显了 CAPL 的有效性，且 CAPL 在 FS-Seg 上亦具良好泛化性并取得具竞争力性能。代码见 https://github.com/dvlab-research/GFS-Seg。
引用
@article{arxiv.2010.05210,
title = {Generalized Few-shot Semantic Segmentation},
author = {Zhuotao Tian and Xin Lai and Li Jiang and Shu Liu and Michelle Shu and Hengshuang Zhao and Jiaya Jia},
journal= {arXiv preprint arXiv:2010.05210},
year = {2022}
}
备注
Accepted to CVPR 2022