在无监督域适应语义分割中利用像素间相关性
计算机视觉与模式识别
2021-10-22 v1
摘要
“自训练”已成为通过无监督域适应（UDA）进行语义分割的主流方法。它为靶域创建一组伪标签以提供显式监督。然而，伪标签有噪声、稀疏，且未提供任何关于像素间相关性的信息。我们认为像素间相关性十分重要，因为语义分割是一项预测高度结构化像素级输出的任务。因此，在本文中，我们提出一种通过自注意力模块将像素间相关性从源域迁移到靶域的方法。该模块以分割网络的预测为输入，生成关联相似像素的自注意力预测。该模块仅在源域上训练以学习域不变的像素间相关性，随后被用于靶域上训练分割网络。网络不仅从伪标签中学习，还通过遵循自注意力模块的输出学习，后者提供了关于像素间相关性的额外知识。通过大量实验，我们表明我们的方法在两个标准 UDA 基准上显著提升了性能，并且可与近期最先进方法结合以实现更优性能。
引用
@article{arxiv.2110.10916,
title = {Exploiting Inter-pixel Correlations in Unsupervised Domain Adaptation for Semantic Segmentation},
author = {Inseop Chung and Jayeon Yoo and Nojun Kwak},
journal= {arXiv preprint arXiv:2110.10916},
year = {2021}
}