面向语义分割中持续无监督域适应的多头蒸馏
计算机视觉与模式识别
2022-04-26 v1
摘要
无监督域适应（UDA）是一项迁移学习任务，旨在利用有标签的源域在未标签的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范畴，现实世界的感知系统面临多种需处理的场景，从变化的照明条件到全球众多城市。在此背景下，涉及多个域的UDA因不同目标域间分布偏移的叠加而更具挑战。本工作聚焦于一种新颖的UDA学习框架——持续UDA，其中模型在顺序发现的多个目标域上运行，且无法访问先前的目标域。我们提出 MuHDi（Multi-Head Distillation，多头蒸馏），一种解决持续学习任务中固有的灾难性遗忘问题的方法。MuHDi 从先前模型以及辅助的目标专用分割头在多层级进行蒸馏。我们报告了在具有挑战性的多目标UDA语义分割基准上的大量消融实验与实验，以验证所提出的学习方案和架构。
引用
@article{arxiv.2204.11667,
title = {Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation},
author = {Antoine Saporta and Arthur Douillard and Tuan-Hung Vu and Patrick Pérez and Matthieu Cord},
journal= {arXiv preprint arXiv:2204.11667},
year = {2022}
}
备注
Published at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2022 Workshop on Continual Learning