基于风格与结构生成对抗网络的图像生成建模
计算机视觉与模式识别
2016-07-27 v2
摘要
当前生成框架使用端到端学习，并通过从均匀噪声分布中采样来生成图像。然而，这些方法忽略了一个最基本的图像形成原则：图像是以下两者的产物：(a) 结构：底层的3D模型；(b) 风格：映射到结构上的纹理。本文中，我们分解图像生成过程，并提出风格与结构生成对抗网络（Style and Structure Generative Adversarial Network, S^2-GAN）。我们的 S^2-GAN 有两个组件：Structure-GAN 生成表面法线图；Style-GAN 以表面法线图作为输入并生成2D图像。除了真实与生成损失函数外，我们还使用了从生成图像计算出的表面法线的额外损失。两个 GAN 首先独立训练，然后通过联合学习合并在一起。我们展示了我们的 S^2-GAN 模型是可解释的，生成更逼真的图像，并可用于学习无监督 RGBD 表示。
引用
@article{arxiv.1603.05631,
title = {Generative Image Modeling using Style and Structure Adversarial Networks},
author = {Xiaolong Wang and Abhinav Gupta},
journal= {arXiv preprint arXiv:1603.05631},
year = {2016}
}