CoMFormer:语义与全景分割中的持续学习
计算机视觉与模式识别
2022-11-28 v1
摘要
分割的持续学习近期受到越来越多的关注。然而,以往所有工作都聚焦于狭义的语义分割,而忽视了全景分割这一具有真实世界影响的重要任务。本文中,我们提出首个可同时用于语义与全景分割的持续学习模型。受近期将分割视为掩码分类问题的 transformer 方法启发,我们设计了 CoMFormer。我们的方法仔细利用 transformer 架构的特性随时间学习新类。具体而言,我们提出一种新颖的自适应蒸馏损失以及基于掩码的伪标注技术,以有效防止遗忘。为评估我们的方法,我们在具挑战性的 ADE20K 数据集上引入了一种新颖的持续全景分割基准。我们的 CoMFormer 以更少的旧类遗忘和更有效的新类学习优于所有现有基线。此外,我们还报告了大规模持续语义分割场景中的广泛评估,显示 CoMFormer 也显著优于最先进的方法。
引用
@article{arxiv.2211.13999,
title = {CoMFormer: Continual Learning in Semantic and Panoptic Segmentation},
author = {Fabio Cermelli and Matthieu Cord and Arthur Douillard},
journal= {arXiv preprint arXiv:2211.13999},
year = {2022}
}
备注
Under submission