面向语义分割的语义分布感知对比自适应
计算机视觉与模式识别
2021-05-12 v1
摘要
域自适应语义分割旨在仅利用特定源域的标注对某一目标域进行预测。当前最先进的工作表明，执行类别对齐可合理缓解域偏移。然而，它们主要基于图像到图像的对抗训练，很少考虑物体在各图像间的语义变化，未能捕捉不同类别的完整图景。这促使我们探索一种整体代表性——源域中每类的语义分布，以缓解上述问题。本文提出语义分布感知对比自适应算法，在语义分布引导下实现像素级表示对齐。具体而言，我们首先通过考虑语义分布与两域像素级表示间的对应关系，设计像素级对比损失。本质上，同类别的像素表示簇应聚拢，不同类别的应分散。接着，通过引入无限多（不）相似对的学习，导出该形式的上界，从而提升效率。最后，我们验证 SDCA 与自监督学习结合可进一步提升分割精度。我们在多个基准上评估 SDCA，相较现有算法取得可观改进。代码已公开于 https://github.com/BIT-DA/SDCA
引用
@article{arxiv.2105.05013,
title = {Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation},
author = {Shuang Li and Binhui Xie and Bin Zang and Chi Harold Liu and Xinjing Cheng and Ruigang Yang and Guoren Wang},
journal= {arXiv preprint arXiv:2105.05013},
year = {2021}
}
备注
15 pages