DTBS：用于夜间语义分割域适应的双教师双向自训练
计算机视觉与模式识别
2024-01-03 v1
摘要
由于光照不足和标注困难，夜间条件对自动驾驶车辆感知系统构成了重大挑战。无监督域适应（UDA）已广泛应用于此类图像的语义分割，以将模型从正常条件适应到目标夜间条件域。自训练（ST）是UDA中的一种范式，其中使用动量教师进行伪标签预测，但存在确认偏差问题。因为来自单个教师的单向知识转移不足以适应大的域偏移。为了缓解这个问题，我们提出通过逐步考虑风格影响和光照变化来减轻域差距。因此，我们引入了一个单阶段的双教师双向自训练（DTBS）框架，用于平滑的知识转移和反馈。基于两个教师模型，我们提出了一种新颖的流水线，分别解耦风格和光照偏移。此外，我们提出了一种新的重加权指数移动平均（EMA）来合并风格和光照因素的知识，并向学生模型提供反馈。通过这种方式，我们的方法可以嵌入到其他UDA方法中以提高其性能。例如，Cityscapes到ACDC夜间任务获得了53.8 mIoU（%），相比之前的最先进技术提高了+5%。代码可在\url{https://github.com/hf618/DTBS}获取。
引用
@article{arxiv.2401.01066,
title = {DTBS: Dual-Teacher Bi-directional Self-training for Domain Adaptation in Nighttime Semantic Segmentation},
author = {Fanding Huang and Zihao Yao and Wenhui Zhou},
journal= {arXiv preprint arXiv:2401.01066},
year = {2024}
}