基于相似性原型的无监督域适应跨模态分割

深度学习模型在各种视觉挑战中取得了巨大成功，但一个训练良好的模型在应用于未见过的数据时会面临性能急剧下降的问题。由于模型对域偏移敏感，无监督域适应试图减少域差距并避免对未见过的域进行昂贵的标注。本文提出了一种新颖的基于相似性原型的跨模态分割框架。具体来说，我们在嵌入空间内学习类别级原型，然后引入一个相似性约束，使这些原型对每个语义类具有代表性，同时在不同类之间具有可分离性。此外，我们使用字典来存储从不同图像中提取的原型，这防止了类别缺失问题，并实现了原型的对比学习，进一步提升了性能。大量实验表明，我们的方法取得了比其他最先进方法更好的结果。