用于类增量语义分割的分解知识蒸馏
计算机视觉与模式识别
2022-10-13 v1
摘要
类增量语义分割(CISS)持续地将图像每个像素标注为相应的物体/素材类别。为此,关键在于增量学习新类而不遗忘先前学到的知识。当前 CISS 方法通常使用知识蒸馏(KD)技术来保留分类器 logits,或冻结特征提取器,以避免遗忘问题。然而,这些强约束阻碍了为新类学习有判别力的特征。我们引入了一种缓解遗忘问题并有效促进新类学习的 CISS 框架。我们发现一个 logit 可分解为两项。它们量化了输入属于某一特定类或不属于的概率,为模型的推理过程提供线索。在此背景下,KD 技术保留两项之和(即类 logit),意味着每一项都可能改变,从而 KD 并不模仿推理过程。为对每一项显式施加约束,我们提出一种新的分解知识蒸馏(DKD)技术,提升了模型的刚性并更有效地解决遗忘问题。我们还引入一种新初始化方法来训练新类的分类器。在 CISS 中,新类的负训练样本数量不足以区分旧类。为缓解此问题,我们提出利用辅助分类器将负类知识依次迁移至分类器,显著提升了性能。在标准 CISS 基准上的实验结果证明了我们框架的有效性。
引用
@article{arxiv.2210.05941,
title = {Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation},
author = {Donghyeon Baek and Youngmin Oh and Sanghoon Lee and Junghyup Lee and Bumsub Ham},
journal= {arXiv preprint arXiv:2210.05941},
year = {2022}
}
备注
Accepted to NeurIPS 2022