Cs2K：面向增量语义分割的类别特定与类别共享知识引导
计算机视觉与模式识别
2024-07-15 v1
摘要
增量语义分割旨在在保持旧类别知识的同时，对新遇到的类别进行分割。然而，现有方法要么缺乏来自类别特定知识（即旧类别原型）的引导，导致对新类别产生偏见，要么对类别共享知识（即旧模型权重）施加过度约束而不加区分，导致偏好旧类别。本文提出了一种面向增量语义分割的类别特定与类别共享知识引导方法（Cs2K），在模型性能之间进行权衡。具体而言，从类别特定知识的角度，我们设计了基于原型引导的伪标签生成，通过利用原型到特征的接近性来纠正伪标签，从而克服灾难性遗忘。同时，我们开发了原型引导的类别适应，通过学习旧数据的增强原型来实现跨数据集的类别分布对齐。另一方面，从类别共享知识的角度，我们提出了基于权重引导的选择性 consolidation，以整合旧模型权重和新模型权重（基于与旧类别的重要性），在加强旧记忆的同时保持新记忙。在公开数据集上的实验表明，我们提出的Cs2K显著提高了分割性能，且具有即插即用的特性。
引用
@article{arxiv.2407.09047,
title = {Cs2K: Class-specific and Class-shared Knowledge Guidance for Incremental Semantic Segmentation},
author = {Wei Cong and Yang Cong and Yuyang Liu and Gan Sun},
journal= {arXiv preprint arXiv:2407.09047},
year = {2024}
}