由下游任务损失引导 CycleGAN 的半监督域适应
计算机视觉与模式识别
2022-08-19 v1
摘要
域适应备受关注，因为标注是一项昂贵且易出错的任务，尤其在语义分割等需要像素级标签的情况下。因此，人们希望能够在合成域上训练神经网络，因为合成域数据丰富且标签精确。然而，这些模型在域外图像上往往表现不佳。为缓解输入上的偏移，可采用图像到图像的方法。但将部署域与合成训练域桥接的标准图像到图像方法并不关注下游任务，而仅关注视觉观测层面。为此，我们在图像到图像域适应方法中提出了一种“任务感知”版的 GAN。借助少量带标签的真实数据，我们将图像到图像的转换引导至更适于在合成数据上训练的语义分割网络（合成域专家）的输入图像。本工作的主要贡献为：1）一种模块化的半监督域适应方法，通过训练下游任务感知的 CycleGAN 实现语义分割，同时避免调整合成语义分割专家；2）证明该方法适用于复杂域适应任务；3）通过使用从头训练的网络进行偏差更小的域间隙分析。我们在分类任务及语义分割上评估了该方法。实验表明，在仅使用 70 张（10%）真实图像的分类任务中，我们的方法比标准图像到图像方法 CycleGAN 的准确率高出 7 个百分点。对于语义分割，在训练仅用 14 张真实图像的情况下，我们在 Cityscapes 评估数据集上平均交并比提升了约 4 至 7 个百分点。
引用
@article{arxiv.2208.08815,
title = {Semi-supervised domain adaptation with CycleGAN guided by a downstream task loss},
author = {Annika Mütze and Matthias Rottmann and Hanno Gottschalk},
journal= {arXiv preprint arXiv:2208.08815},
year = {2022}
}
备注
11pages, 11figures