基于个性化扩散模型的一次性无监督域适应
计算机视觉与模式识别
2023-06-19 v2
摘要
将分割模型从带标签的源域适应到仅可获得单个无标签数据的目标域,是域适应中最具挑战性的问题之一,亦称为一次性无监督域适应(OSUDA)。大多数先前工作依赖风格迁移技术来解决该问题,即将源图像风格化以具有目标域的外观。不同于仅迁移目标“纹理”信息的常见观念,我们利用文本到图像扩散模型(如 Stable Diffusion)生成具有照片真实感图像的合成目标数据集,这些图像不仅忠实描绘目标域的风格,还具有多样语境下的新颖场景。我们方法 Data AugmenTation with diffUsion Models (DATUM) 中的文本接口使我们能够在尊重单张训练图像原始空间语境的同时,引导图像生成朝向期望的语义概念,这是现有 OSUDA 方法无法做到的。在标准基准上的大量实验表明,我们的 DATUM 以高达 +7.1% 的优势超越最先进的 OSUDA 方法。实现代码见 https://github.com/yasserben/DATUM
引用
@article{arxiv.2303.18080,
title = {One-shot Unsupervised Domain Adaptation with Personalized Diffusion Models},
author = {Yasser Benigmim and Subhankar Roy and Slim Essid and Vicky Kalogeiton and Stéphane Lathuilière},
journal= {arXiv preprint arXiv:2303.18080},
year = {2023}
}
备注
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition- Workshop on Generative Models for Computer Vision (CVPR-W 2023)