面向多样且保真的生成对抗网络单次自适应
计算机视觉与模式识别
2022-09-27 v2
摘要
单次生成域自适应旨在仅使用一张参考图像将预训练生成器从一个域迁移至新域。然而,对于自适应后的生成器而言,(i)生成继承自预训练生成器的多样图像,同时(ii)忠实获取参考图像的域特定属性与风格,仍极具挑战。本文提出一种新颖的单次生成域自适应方法,即DiFa,用于多样生成与忠实自适应。对于全局级自适应,我们利用参考图像的CLIP嵌入与源图像平均嵌入之差来约束目标生成器。对于局部级自适应,我们引入注意力风格损失,将自适应图像的各中间token与参考图像的对应token对齐。为促进多样生成,引入选择性跨域一致性,以在编辑隐空间中挑选并保留域共享属性,从而继承预训练生成器的多样性。大量实验表明,我们的方法在定量与定性上均超越SOTA,尤其在域间隙较大的情形下。此外,我们的DiFa可轻松扩展至零次生成域自适应并取得引人瞩目的结果。代码见https://github.com/1170300521/DiFa。
引用
@article{arxiv.2207.08736,
title = {Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks},
author = {Yabo Zhang and Mingshuai Yao and Yuxiang Wei and Zhilong Ji and Jinfeng Bai and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2207.08736},
year = {2022}
}
备注
Accepted at NeurIPS 2022. Code is available at https://github.com/1170300521/DiFa