Polymorphic-GAN：利用学习到的形态映射跨多域生成对齐样本
计算机视觉与模式识别
2022-06-08 v1
摘要
现代图像生成模型在单一域或对象类上训练时展现出卓越的样本质量。在本工作中，我们引入了一种生成对抗网络，可同时生成来自多个相关域的对齐图像样本。我们利用多种对象类共享公共属性但具有某些几何差异这一事实。我们提出 Polymorphic-GAN，它学习所有域间的共享特征以及一个每域形态层，以根据每个域对共享特征进行形态变换。与先前工作不同，我们的框架允许同时对几何差异极大的图像建模，例如人脸、绘画与艺术人脸，以及多种不同的动物面部图像。我们展示了我们的模型为所有域生成对齐样本，并展示其如何用于分割迁移与跨域图像编辑，以及在低数据体制下的训练等应用。此外，我们将 Polymorphic-GAN 应用于图像到图像翻译任务，并展示在域间几何差异较大的情况下，我们能大幅超越先前方法。
引用
@article{arxiv.2206.02903,
title = {Polymorphic-GAN: Generating Aligned Samples across Multiple Domains with Learned Morph Maps},
author = {Seung Wook Kim and Karsten Kreis and Daiqing Li and Antonio Torralba and Sanja Fidler},
journal= {arXiv preprint arXiv:2206.02903},
year = {2022}
}
备注
CVPR 2022 Oral