面向单样本无监督域自适应语义分割的风格混合与逐块原型匹配
计算机视觉与模式识别
2021-12-10 v1
摘要
本文针对语义分割中的单样本无监督域自适应 (OSUDA) 问题展开研究，在该设定下，分割器在训练期间仅见到一张无标签的目标图像。在这种情况下，传统的无监督域自适应模型通常会失败，因为它们无法在过拟合于一个（或少数）目标样本的情况下适应目标域。为解决此问题，现有的 OSUDA 方法通常集成一个风格迁移模块，基于无标签目标样本进行域随机化，从而在训练期间探索目标样本周围的多个域。然而，这种风格迁移模块依赖一组额外的图像作为风格参考进行预训练，同时也增加了域自适应的内存需求。本文提出了一种能有效减轻此类计算负担的新 OSUDA 方法。具体而言，我们在分割器中集成了若干风格混合层，它们扮演风格迁移模块的角色，在不引入任何可学习参数的情况下对源图像进行风格化处理。此外，我们提出了一种逐块原型匹配 (PPM) 方法，在有监督训练期间加权考虑源像素的重要性，以缓解负适应。实验结果表明，我们的方法在单样本设定下的域自适应语义分割两个常用基准上达到了新的最优性能，且比所有对比方法更高效。
引用
@article{arxiv.2112.04665,
title = {Style Mixing and Patchwise Prototypical Matching for One-Shot Unsupervised Domain Adaptive Semantic Segmentation},
author = {Xinyi Wu and Zhenyao Wu and Yuhang Lu and Lili Ju and Song Wang},
journal= {arXiv preprint arXiv:2112.04665},
year = {2021}
}
备注
Accepted by AAAI 2022