基础模型驱动的弱增量语义分割学习
计算机视觉与模式识别
2023-04-21 v2
摘要
现代语义分割增量学习方法通常基于密集标注学习新类别。尽管取得了令人鼓舞的结果，但逐像素标注成本高且耗时。弱增量语义分割学习（WILSS）是一项新颖且极具吸引力的任务，旨在从廉价且广泛可用的图像级标签中学习分割新类别。尽管取得了可比的结果，但图像级标签无法提供定位每个分割区域的细节，这限制了 WILSS 的性能。这促使我们思考如何在给定图像级标签的情况下改进并有效利用对新类别的监督，同时避免遗忘旧类别。在本文中，我们提出了一种新颖且数据高效的 WILSS 框架，命名为 FMWISS。具体而言，我们提出基于预训练的协同分割，以蒸馏互补基础模型的知识来生成密集伪标签。我们进一步利用师生架构优化含噪伪掩码，其中通过提出的密集对比损失来优化插件式教师模型。此外，我们引入基于记忆的复制粘贴增强，以改善旧类别的灾难性遗忘问题。在 Pascal VOC 和 COCO 数据集上的大量实验证明了我们框架的优越性能，例如，在 15-5 VOC 设置下，FMWISS 分别达到 70.7% 和 73.3%，分别比现有最优方法高出 3.4% 和 6.1%。
引用
@article{arxiv.2302.14250,
title = {Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation},
author = {Chaohui Yu and Qiang Zhou and Jingliang Li and Jianlong Yuan and Zhibin Wang and Fan Wang},
journal= {arXiv preprint arXiv:2302.14250},
year = {2023}
}
备注
CVPR 2023