面向增量语义分割的不确定性感知对比蒸馏
计算机视觉与模式识别
2022-05-23 v2
摘要
深度学习中的一个基本且具有挑战性的问题是灾难性遗忘，即神经网络在学习新任务时往往无法保留从旧任务中获取的知识。该问题已在研究界被广泛探讨，过去数年提出了若干增量学习（IL）方法。尽管计算机视觉领域的早期工作多聚焦于图像分类与目标检测，但近来也出现了一些面向语义分割的 IL 方法。这些先前的研究表明，尽管形式简单，知识蒸馏仍可有效缓解灾难性遗忘。本文延续该研究方向，并受近期对比学习文献的启发，提出了一种新颖的蒸馏框架——不确定性感知对比蒸馏（UCD）。简言之，UCD 通过引入一种新颖的蒸馏损失来运作，该损失考虑一个 mini-batch 中的所有图像，强制来自同一类别所有像素的特征相似，并将对应于不同类别像素的特征拉开。为缓解灾难性遗忘，我们将新模型的特征与在上一个增量步骤中学得的冻结模型所提取的特征进行对比。我们的实验结果证明了所提蒸馏技术的优势，其可与先前的 IL 方法协同使用，并在三个常用的增量语义分割基准上取得了当前最优（state-of-the-art）性能。代码见 \url{https://github.com/ygjwd12345/UCD}。
引用
@article{arxiv.2203.14098,
title = {Uncertainty-aware Contrastive Distillation for Incremental Semantic Segmentation},
author = {Guanglei Yang and Enrico Fini and Dan Xu and Paolo Rota and Mingli Ding and Moin Nabi and Xavier Alameda-Pineda and Elisa Ricci},
journal= {arXiv preprint arXiv:2203.14098},
year = {2022}
}
备注
TPAMI