基于残差建模的无原型类增量语义分割背景适应
计算机视觉与模式识别
2024-07-16 v1
摘要
类增量语义分割（CISS）是增量学习中用于分割新类别同时减少旧类别灾难性遗忘的技术。其中，背景漂移问题——即每一步中背景类别不断变化——是CISS的特殊挑战。当前基于共享背景分类器的方法难以应对这些变化，导致背景预测稳定性下降和分割精度降低。为解决此挑战，我们设计了一种新颖的背景适应机制，显式地在每一步建模背景残差而非背景本身，并聚合这些残差以表示演化中的背景。因此，背景适应机制确保了之前背景分类器的稳定性，同时使模型能够专注于来自额外通道中易学习的残差，从而增强背景辨识能力，提高对新类别的预测准确性。为精确优化背景适应机制，我们提出了伪背景二元交叉熵损失和背景适应损失，以放大适应效果。设计了群体知识蒸馏和背景特征蒸馈策略以防止遗忘旧类别。我们的方法在Pascal VOC 2012和ADE20K数据集上的各种增量场景中 outperform 了以往的无原型最新方法，在VOC 10-1中mIoU提升3.0%，在ADE 100-5中提升2.0%，显著提高了新类别的准确性，同时减轻了灾难性遗忘。代码已公开于 https://andyzaq.github.io/barmsite/。
引用
@article{arxiv.2407.09838,
title = {Background Adaptation with Residual Modeling for Exemplar-Free Class-Incremental Semantic Segmentation},
author = {Anqi Zhang and Guangyu Gao},
journal= {arXiv preprint arXiv:2407.09838},
year = {2024}
}
备注
Accepted by ECCV 2024. Code: https://andyzaq.github.io/barmsite/