基于倾向驱动的相互排斥性用于弱监督增量语义分割
计算机视觉与模式识别
2024-04-22 v2
摘要
弱监督增量语义分割（WILSS）利用预训练的分割模型利用成本低且易获得的图像级标签对新类别进行分割。解决WILSS的常用方法是为每个新类别生成种子区域，作为像素级监督形式。然而，常出现一种情形：像素同时被预训练分割模型预测为旧类别，也被种子区域预测为新类别。在WILSS中，由于缺乏对新类别的像素级标注，无法确定该像素属于新类别还是旧类别。为克服此问题，我们提出一种创新的倾向驱动的相互排斥关系，专为控制种子区域与预训练分割模型生成的预测而设计。该关系规定：对于新旧类别的预测必须不冲突，同时优先保持旧类别的预测。这不仅解决了冲突预测问题，也有效缓解了增量学习固有的灾难性遗忘问题。此外，在该倾向驱动的相互排斥关系的驱动下，我们生成新类别的伪掩码，允许通过解决双层优化问题来同时执行模型参数更新。广泛的实验结果表明，我们框架的有效性，确立了新的基准，并为该领域的进一步研究铺平了道路。
引用
@article{arxiv.2404.11981,
title = {Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation},
author = {Chongjie Si and Xuehui Wang and Xiaokang Yang and Wei Shen},
journal= {arXiv preprint arXiv:2404.11981},
year = {2024}
}