为无源域自适应生成可靠的像素级标签
计算机视觉与模式识别
2023-07-04 v1
摘要
本工作致力于一种具有挑战性的域自适应设定，其中仅能通过预训练的黑盒分割模型获取来自有标签源域数据集的知识。由于源域数据与目标域数据之间的分布差异，该预训练模型对目标域图像的预测含有噪声。由于模型预测在自训练过程中充当伪标签，预测中的噪声为模型性能设定了上限。因此，我们提出一种简单而新颖的图像翻译工作流ReGEN来解决此问题。ReGEN由一个图像到图像翻译网络与一个分割网络组成。我们的工作流利用原始目标域图像的噪声预测生成类目标图像。这些类目标图像在语义上与噪声模型预测一致，因此可用于训练分割网络。除与原始目标域图像的预测语义一致外，所生成的类目标图像在风格上也类似于目标域图像。这使我们能够在训练分割模型时，将类目标图像与目标域图像之间的风格差异作为额外的监督来源加以利用。我们在两种基准域自适应设定下评估了我们的模型，并表明相较近期最先进的工作，我们的方法表现更优。源代码将公开。
引用
@article{arxiv.2307.00893,
title = {Generating Reliable Pixel-Level Labels for Source Free Domain Adaptation},
author = {Gabriel Tjio and Ping Liu and Yawei Luo and Chee Keong Kwoh and Joey Zhou Tianyi},
journal= {arXiv preprint arXiv:2307.00893},
year = {2023}
}