最大化空间特征余弦相似度用于语义分割中的无监督域适应
计算机视觉与模式识别
2021-03-19 v3
摘要
我们提出了一种新方法,通过在特征层最大化源域与目标域之间的余弦相似度,解决语义分割中的无监督域适应问题。分割网络主要由两部分组成:特征提取器和分类头。我们期望若能令两域在特征层具有较小的域间隙,则它们在分类头处也将具有较小的域差异。我们的方法计算源特征图与目标特征图之间的余弦相似度矩阵,然后最大化超过阈值的元素,以引导目标特征与最相似的源特征具有高相似度。此外,我们使用一个按类别的源特征字典来存储源域的最新特征,以防止计算余弦相似度矩阵时的不匹配问题,并能够将目标特征与来自不同图像的多种源特征进行比较。通过大量实验,我们验证了我们的方法在两个无监督域适应任务(GTA5→Cityscapes和SYNTHIA→Cityscapes)上均获得性能提升。
引用
@article{arxiv.2102.13002,
title = {Maximizing Cosine Similarity Between Spatial Features for Unsupervised Domain Adaptation in Semantic Segmentation},
author = {Inseop Chung and Daesik Kim and Nojun Kwak},
journal= {arXiv preprint arXiv:2102.13002},
year = {2021}
}