基于语义引导关系对齐与适应的增量少样本语义分割方法
计算机视觉与模式识别
2023-05-19 v1
摘要
增量少样本语义分割（IFSS）旨在仅依据少量像素级标注数据将语义分割模型逐步扩展至新类别，同时保留其在已学基类别上的分割能力。由于数据不平衡，该任务面临基类别与新类别间严重的语义混叠问题，导致分割结果不理想。为缓解此问题，我们提出语义引导关系对齐与适应（SRAA）方法，充分考量先验语义信息的引导作用。具体而言，我们在基步骤中首先进行语义关系对齐（SRA），以在语义上将基类别表示与其语义对齐；由此，基类别的嵌入被约束为与异于自身的类别具有较低的语义相关性。随后，在增量学习阶段基于语义对齐的基类别，采用语义引导适应（SGA）。其旨在确保所遇新类别的视觉与语义嵌入间的一致性，从而使特征表示与其语义信息相符。如此便可抑制语义混叠问题。我们在 PASCAL VOC 2012 与 COCO 数据集上评估模型，两数据集上的实验结果均展现出具竞争力的性能，证明了方法的优越性。
引用
@article{arxiv.2305.10868,
title = {Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation},
author = {Yuan Zhou and Xin Chen and Yanrong Guo and Shijie Hao and Richang Hong and Qi Tian},
journal= {arXiv preprint arXiv:2305.10868},
year = {2023}
}