继承于蒸馏而进化于对比：探索无 exemplar 记忆的类增量语义分割
计算机视觉与模式识别
2023-10-02 v1
摘要
作为增量学习中的热点问题，类增量语义分割（CISS）深受灾难性遗忘和语义漂移的困扰。尽管近期方法已利用知识蒸馏从旧模型迁移知识，但由于缺乏过去与未来类别的标注，它们仍无法避免像素混淆，导致增量步骤后出现严重误分类。同时，基于数据回放的方法面临存储负担与隐私问题。本文提出在无 exemplar 记忆下解决 CISS，并同步克服灾难性遗忘与语义漂移。我们提出继承于蒸馏而进化于对比（IDEC），其由全方面稠密知识蒸馏（DADA）方式与非对称区域对比学习（ARCL）模块构成。在设计的动态类特定伪标签策略驱动下，DADA 以更侧重语义不变知识继承的方式，协同蒸馏中间层特征与输出 logits。ARCL 在潜空间实施区域对比学习，以解决已知类、当前类与未知类间的语义漂移。我们在包括 Pascal VOC 2012、ADE20K 与 ISPRS 数据集的多个 CISS 任务上以最先进性能证明了方法的有效性。我们的方法也展现出优越的抗遗忘能力，尤其在多步 CISS 任务中。
引用
@article{arxiv.2309.15413,
title = {Inherit with Distillation and Evolve with Contrast: Exploring Class Incremental Semantic Segmentation Without Exemplar Memory},
author = {Danpei Zhao and Bo Yuan and Zhenwei Shi},
journal= {arXiv preprint arXiv:2309.15413},
year = {2023}
}