CIT: 通过类别独立变换重新思考类别增量语义分割
计算机视觉与模式识别
2024-11-06 v1
摘要
类别增量语义分割（CSS）要求模型在学习新类别时不遗忘如何分割先前类别：这通常通过蒸馏当前知识并整合最新数据来实现。然而，现有类别特定的CSS方法不支持通过直接转移初始类别的输出来绕过迭代蒸馏，从而进入当前学习任务。它们通过Softmax强制类别间的依赖关系，并在每个学习步骤调整输出分布，导致初始任务与当前任务之间存在较大的概率分布差距。我们提出了一种简单而有效的类别独立变换（CIT），它能以极低的代价或性能损失将现有语义分割模型的输出转换为类别独立形式。通过利用CIT实现的类别独立预测，我们建立了一个累积蒸馏框架，确保所有类别信息的公平整合。我们在多种分割架构上进行了广泛实验，包括DeepLabV3、Mask2Former和SegViTv2。这些实验结果表明，在不同数据集上任务遗忘极少，在最具挑战性的11个任务配置下ADE20K数据集的遗忘率低于5%，在PASCAL VOC 2012数据集的所有配置下遗忘率低于1%。
引用
@article{arxiv.2411.02715,
title = {CIT: Rethinking Class-incremental Semantic Segmentation with a Class Independent Transformation},
author = {Jinchao Ge and Bowen Zhang and Akide Liu and Minh Hieu Phan and Qi Chen and Yangyang Shu and Yang Zhao},
journal= {arXiv preprint arXiv:2411.02715},
year = {2024}
}
备注
11 pages, 5 figures