基于多各向异性原型的双向自训练用于域自适应语义分割
计算机视觉与模式识别
2022-08-05 v2
摘要
域自适应分割的一个蓬勃发展趋势致力于为目标域生成高质量伪标签，并在其上重新训练分割器。在这种自训练范式下，一些有竞争力的方法寻求潜空间信息，其建立语义类的特征质心（即原型）并通过这些质心到样本的距离来确定伪标签候选。在本文中，我们认为潜空间包含更多有待利用的信息，从而更进一步加以利用。首先，与大多数传统方法仅使用源域原型来确定目标伪标签不同，我们双向地生成目标域原型，以削弱那些对于自适应而言可能过于困难或受扰动的源特征。其次，现有尝试简单地将每个类别建模为单一且各向同性的原型，而忽略了特征分布的方差，这可能导致相似类别的混淆。为应对此问题，我们提出通过高斯混合模型将每个类别表示为多个各向异性原型，以拟合源域的实际分布并基于概率密度估计目标样本的可能性。我们将方法应用于 GTA5->Cityscapes 和 Synthia->Cityscapes 任务，在平均 IoU 上分别取得 61.2 和 62.8，大幅优于其他有竞争力的自训练方法。值得注意的是，在严重遭受类别混淆的一些类别如“truck”和“bus”中，我们的方法分别取得 56.4 和 68.8，进一步证明了我们设计的有效性。
引用
@article{arxiv.2204.07730,
title = {Bidirectional Self-Training with Multiple Anisotropic Prototypes for Domain Adaptive Semantic Segmentation},
author = {Yulei Lu and Yawei Luo and Li Zhang and Zheyang Li and Yi Yang and Jun Xiao},
journal= {arXiv preprint arXiv:2204.07730},
year = {2022}
}