利用 GAN 中潜变量的空间维度进行实时图像编辑
计算机视觉与模式识别
2021-06-24 v2 机器学习
摘要
生成对抗网络（GANs）从随机潜向量合成逼真图像。尽管操控潜向量可控制合成输出，但使用 GAN 编辑真实图像存在以下弊端：i) 将真实图像投影至潜向量需耗时的优化，ii) 或通过编码器嵌入不准确。我们提出 StyleMapGAN：其中间潜空间具有空间维度，且空间可变调制替代了 AdaIN。它使通过编码器的嵌入比现有基于优化的方法更准确，同时保持 GAN 的特性。实验结果表明，我们的方法在局部编辑和图像插值等多种图像操控任务中显著优于最先进模型。最后同样重要的是，GAN 上的常规编辑方法在我们的 StyleMapGAN 上依然有效。源代码可在 https://github.com/naver-ai/StyleMapGAN 获取。
引用
@article{arxiv.2104.14754,
title = {Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing},
author = {Hyunsu Kim and Yunjey Choi and Junho Kim and Sungjoo Yoo and Youngjung Uh},
journal= {arXiv preprint arXiv:2104.14754},
year = {2021}
}
备注
Accepted to CVPR 2021