应对持续语义分割中的灾难性遗忘与背景偏移
计算机视觉与模式识别
2021-06-30 v1
摘要
深度学习方法如今被普遍用于解决语义分割等计算机视觉任务，其需要大型数据集和大量计算资源。语义分割的持续学习（CSS）是一种新兴趋势，由顺序添加新类来更新旧模型构成。然而，持续学习方法通常容易出现灾难性遗忘。在 CSS 中该问题进一步加剧：在每一步，前几轮迭代中的旧类被合并为背景。在本文中，我们提出 Local POD，一种在多尺度上保留特征层长程与短程空间关系的池化蒸馏方案。此外，我们设计了基于熵的旧模型预测类的背景伪标注，以应对背景偏移并避免对旧类的灾难性遗忘。最后，我们引入一种特别适用于分割的新颖 rehearsal 方法。我们的方法称为 PLOP，在现有 CSS 场景以及新提出的具有挑战性的基准上均显著优于最先进的方法。
引用
@article{arxiv.2106.15287,
title = {Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation},
author = {Arthur Douillard and Yifu Chen and Arnaud Dapogny and Matthieu Cord},
journal= {arXiv preprint arXiv:2106.15287},
year = {2021}
}
备注
Under review at IEEE TPAMI, journal extension of arXiv:2011.11390