面向少样本语义分割的对偶原型对比学习
计算机视觉与模式识别
2021-11-10 v1
摘要
我们解决少样本语义分割（FSS）问题，其旨在利用少量标注样本分割目标图像中的新类物体。尽管近期通过引入基于原型的度量学习取得了进展，现有方法在极端类内物体变化和语义相似类间物体下仍因较差的特征表示而表现有限。为应对该问题，我们提出一种专为 FSS 任务定制的对偶原型对比学习方法，以有效捕获具有代表性的语义特征。核心思想是在原型特征空间中通过增大类间距离并减小类内距离，使原型更具判别性。为此，我们首先提出一种带有动态原型字典的类特定对比损失，该字典在训练过程中存储类感知原型，从而使同类原型相似、异类原型相异。此外，我们引入类无关对比损失，通过压缩每个 episode 内语义类的特征分布来增强对未见类的泛化能力。我们证明了所提对偶原型对比学习方法在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的 FSS 方法。代码见：https://github.com/kwonjunn01/DPCL1。
引用
@article{arxiv.2111.04982,
title = {Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation},
author = {Hyeongjun Kwon and Somi Jeong and Sunok Kim and Kwanghoon Sohn},
journal= {arXiv preprint arXiv:2111.04982},
year = {2021}
}
备注
8 pages, 7 figures, https://github.com/kwonjunn01/DPCL