基于对比学习的由粗到细特征对齐无监督域自适应方法
计算机视觉与模式识别
2021-03-24 v1
摘要
无监督域自适应（UDA）中先前的特征对齐方法大多仅对齐全局特征，而未考虑类间特征的不匹配。本文中，我们提出一种使用对比学习的由粗到细特征对齐新方法，称为 CFContra。它比仅进行粗特征对齐或仅进行类间特征对齐更能拉近类间特征，从而大幅提升了模型性能。我们将其构建于最有效的 UDA 方法之一的熵最小化之上，以进一步提升性能。特别地，为防止在语义分割中应用对比损失时内存占用过大，我们设计了一种构建和更新记忆库的新方式。由此，我们使算法在有限内存下更高效可行。大量实验表明了该方法的有效性，在 GTA5 到 Cityscapes 数据集上训练的模型相比 MinEnt 算法 mIOU 提升了 3.5。我们的代码将公开可用。
引用
@article{arxiv.2103.12371,
title = {Unsupervised domain adaptation via coarse-to-fine feature alignment method using contrastive learning},
author = {Shiyu Tang and Peijun Tang and Yanxiang Gong and Zheng Ma and Mei Xie},
journal= {arXiv preprint arXiv:2103.12371},
year = {2021}
}