生成对抗网络的广义单样本域适应
计算机视觉与模式识别
2022-10-17 v2 人工智能
摘要
生成对抗网络（GAN）的适应旨在将预训练的 GAN 迁移到训练数据有限的目标域。本文关注单样本情形，其更具挑战性且鲜少被以往工作探索。我们认为从源域到目标域的适应可解耦为两部分：纹理与颜色等全局风格的迁移，以及不属于源域的新实体的涌现。以往工作主要关注风格迁移，我们提出一个新颖简洁的框架来解决风格与实体迁移兼顾的\textit{广义单样本适应}任务，其中提供一张参考图像及其二值实体掩码。我们的核心思想是通过切片 Wasserstein 距离约束参考图像与合成图像内部分布之间的差距。为更好地实现这一点，首先使用风格固定粗略获得典范风格，并向生成器引入辅助网络以解耦实体与风格迁移。此外，为实现跨域对应，我们提出变分拉普拉斯正则化来约束适应后生成器的平滑性。定量与定性实验均证明了我们的方法在各种场景下的有效性。代码见 \url{https://github.com/zhangzc21/Generalized-One-shot-GAN-adaptation}。
引用
@article{arxiv.2209.03665,
title = {Generalized One-shot Domain Adaptation of Generative Adversarial Networks},
author = {Zicheng Zhang and Yinglu Liu and Congying Han and Tiande Guo and Ting Yao and Tao Mei},
journal= {arXiv preprint arXiv:2209.03665},
year = {2022}
}
备注
NeurIPS 2022