切换临时教师用于半监督语义分割
计算机视觉与模式识别
2023-10-31 v1 机器学习
摘要
师生框架在半监督语义分割中十分流行，主要采用指数移动平均（EMA）基于学生模型更新单一教师的权重。然而，EMA 更新带来一个问题：教师与学生的权重逐渐耦合，造成潜在的性能瓶颈。此外，当使用如分割掩码般更复杂但标注数据稀少的标签进行训练时，该问题可能更为严重。本文提出 Dual Teacher，一种简单而有效的方法，采用双临时教师旨在缓解学生的耦合问题。临时教师轮班工作并逐步改进，从而持续防止师生过度接近。具体而言，临时教师周期性轮流生成伪标签以训练学生模型，并为每个 epoch 保持学生模型的差异化特征。因此，Dual Teacher 在 PASCAL VOC、Cityscapes 和 ADE20K 基准上取得了具竞争力的性能，且训练时间显著短于最先进方法。此外，我们证明了我们的方法具有模型无关性，兼容基于 CNN 与 Transformer 的模型。代码见 \url{https://github.com/naver-ai/dual-teacher}。
引用
@article{arxiv.2310.18640,
title = {Switching Temporary Teachers for Semi-Supervised Semantic Segmentation},
author = {Jaemin Na and Jung-Woo Ha and Hyung Jin Chang and Dongyoon Han and Wonjun Hwang},
journal= {arXiv preprint arXiv:2310.18640},
year = {2023}
}
备注
NeurIPS-2023