语义分割中的上下文感知域适应
计算机视觉与模式识别
2020-03-10 v1
摘要
在本文中，我们考虑语义分割中的无监督域适应问题。该领域有两个主要问题，即跨两个域转移什么领域知识以及如何转移。现有方法主要通过对抗学习（如何转移）来适应域不变特征（转移什么）。上下文依赖对语义分割至关重要，然而其可迁移性仍未被很好理解。此外，如何跨两个域转移上下文信息仍未被探索。受此启发，我们提出一种基于自注意力的交叉注意力机制，以捕获两域间的上下文依赖并适应可迁移的上下文。为实现此目标，我们设计两个跨域注意力模块，从空间和通道两个视角适应上下文依赖。具体而言，空间注意力模块捕获源图像和目标图像中每个位置之间的局部特征依赖。通道注意力模块建模每对跨域通道图之间的语义依赖。为适应上下文依赖，我们进一步有选择地聚合来自两个域的上下文信息。我们的方法相对于现有 SOTA 方法的优越性在“GTA5 to Cityscapes”和“SYNTHIA to Cityscapes”上得到了实证证明。
引用
@article{arxiv.2003.04010,
title = {Context-Aware Domain Adaptation in Semantic Segmentation},
author = {Jinyu Yang and Weizhi An and Chaochao Yan and Peilin Zhao and Junzhou Huang},
journal= {arXiv preprint arXiv:2003.04010},
year = {2020}
}
备注
10 pages, 6 figures, 5 tables