基于双重相似性迁移的弱样本语义分割
计算机视觉与模式识别
2022-10-06 v1
摘要
语义分割是一项重要且普遍的任务，但在更广泛应用中扩展到更多类别时，深受像素级标注高成本之苦。为此，我们关注名为弱样本语义分割的问题，其中新类别从更廉价的图像级标签中学习，并借助具有现成像素级标签的基类支持。为应对该问题，我们提出 SimFormer，其在 MaskFormer 上执行双重相似性迁移。具体而言，MaskFormer 将语义分割任务解耦为两个子任务：提议分类与每个提议的提议分割。提议分割允许从基类到新类的提议-像素相似性迁移，从而实现新类的掩码学习。我们还从基类学习像素-像素相似性，并将此类与类别无关的语义相似性蒸馏到新类的语义掩码中，从而以跨图像的像素级语义关系正则化分割模型。此外，我们提出一种互补损失以促进新类的学习。在具有挑战性的 COCO-Stuff-10K 与 ADE20K 数据集上的综合实验证明了我们方法的有效性。代码见 https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation。
引用
@article{arxiv.2210.02270,
title = {Weak-shot Semantic Segmentation via Dual Similarity Transfer},
author = {Junjie Chen and Li Niu and Siyuan Zhou and Jianlou Si and Chen Qian and Liqing Zhang},
journal= {arXiv preprint arXiv:2210.02270},
year = {2022}
}
备注
accepted by NeurIPS2022