UniHDA：一个面向多模态混合域自适应的统一通用框架
计算机视觉与模式识别
2024-03-18 v2
摘要
近年来，生成式域自适应取得了显著进展，使我们能够将预训练的生成器适配到新的目标域。然而，现有方法简单地将生成器适配到单个目标域，并且局限于单一模态，要么是文本驱动的，要么是图像驱动的。此外，它们无法与源域保持良好的域一致性，这阻碍了多样性的继承。在本文中，我们提出了UniHDA，一个用于具有来自多个域的多模态参考的生成式混合域自适应的统一且通用的框架。我们使用CLIP编码器将多模态参考投影到一个统一的嵌入空间，然后线性插值来自多个目标域的方向向量，以实现混合域自适应。为了确保与源域的一致性，我们提出了一种新颖的跨域空间结构（CSS）损失，该损失在源生成器和目标生成器之间保持详细的空间结构信息。实验表明，适配后的生成器可以合成具有各种属性组合的真实图像。此外，我们的框架与生成器无关，并且对多种生成器具有通用性，例如StyleGAN、EG3D和扩散模型。
引用
@article{arxiv.2401.12596,
title = {UniHDA: A Unified and Versatile Framework for Multi-Modal Hybrid Domain Adaptation},
author = {Hengjia Li and Yang Liu and Yuqi Lin and Zhanwei Zhang and Yibo Zhao and weihang Pan and Tu Zheng and Zheng Yang and Yuchun Jiang and Boxi Wu and Deng Cai},
journal= {arXiv preprint arXiv:2401.12596},
year = {2024}
}