ProtoGMM：基于多原型高斯混合模型的语义分割领域适应模型
计算机视觉与模式识别
2024-06-28 v1
摘要
领域自适应语义分割旨在通过利用在标记源域上训练的监督模型，为无标签目标域生成准确且稠密的预测。主流的自训练方法涉及使用来自目标域的伪标签重新训练像素特征条件下类别概率的稠密判别分类器。虽然许多方法关注缓解噪声伪标签的问题，但往往忽视了源域和目标域中的数据分布。为此，我们提出了多原型高斯混合模型（ProtoGMM），将GMM融入对比损失以进行引导式对比学习。文献中常用的对比损失通过内存库执行，可能因 underrepresented 类而导致类别偏差。此外，内存库通常具有固定容量，可能限制模型捕获目标/源域多样表示的能力。另一种方法是使用全局类原型（即每个类别的平均特征）。然而，全局原型基于每个类别的单峰分布假设，忽略了类别内部的变异性。为此，我们提出ProtoGMM模型。这种新方法涉及通过利用GMM对源样本特征空间进行估计，从而获取多原型源分布。GMM模型的各个组成部分充当代表性原型。为实现类别内语义相似性增强、类别间相似性降低以及源域与目标域间的域对齐，我们在源分布与目标样本之间进行多原型对比学习。实验表明该方法在UDA基准测试中有效。
引用
@article{arxiv.2406.19225,
title = {ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation},
author = {Nazanin Moradinasab and Laura S. Shankman and Rebecca A. Deaton and Gary K. Owens and Donald E. Brown},
journal= {arXiv preprint arXiv:2406.19225},
year = {2024}
}