图像生成器的少样本混合域自适应
计算机视觉与模式识别
2023-12-07 v2 人工智能
摘要
能否将预训练生成器自适应到多个目标域的混合，并生成具有它们融合属性的图像？在本工作中，我们引入了一项新任务——少样本混合域自适应（HDA）。给定源生成器与若干目标域，HDA 旨在获得一个保留所有目标域融合属性、同时不覆盖源域特征的自适应生成器。与域自适应（DA）相比，HDA 在将生成器自适应到更具复合性与扩展性的域时提供了更大的灵活性与通用性。同时，HDA 也比 DA 带来更多挑战，因为我们仅能获取来自各个单独目标域的图像，而缺乏来自混合域的真实图像。为解决此问题，我们引入了一个无判别器的框架，将不同域的图像直接编码到良好可分的子空间中。为实现 HDA，我们提出了一种由距离损失与方向损失组成的新型方向性子空间损失。具体而言，距离损失通过缩小生成图像到所有目标子空间的距离来融合所有目标域的属性；方向损失通过沿垂直于子空间的方向引导自适应来保留源域的特征。实验表明，我们的方法可在单一自适应生成器中获得众多域特定属性，在语义相似性、图像保真度与跨域一致性上均超越基线方法。
引用
@article{arxiv.2310.19378,
title = {Few-shot Hybrid Domain Adaptation of Image Generators},
author = {Hengjia Li and Yang Liu and Linxuan Xia and Yuqi Lin and Tu Zheng and Zheng Yang and Wenxiao Wang and Xiaohui Zhong and Xiaobo Ren and Xiaofei He},
journal= {arXiv preprint arXiv:2310.19378},
year = {2023}
}