基于生成对抗网络的风格分离与合成
计算机视觉与模式识别
2018-11-08 v1
摘要
风格合成近来引起极大关注，而极少有工作关注其对偶问题“风格分离”。本文提出风格分离与合成生成对抗网络（S3-GAN），在特定类别的物体照片上同时实现风格分离与风格合成。基于物体照片位于流形上且内容与风格相互独立的假设，我们采用 S3-GAN 建立流形与潜向量空间之间的映射，以分离和合成内容与风格。S3-GAN 由编码器网络、生成器网络和判别网络组成。编码器网络通过将物体照片映射到潜向量来执行风格分离，潜向量的两半分别表征内容与风格。生成器网络通过以拼接向量作为输入来执行风格合成，该拼接向量包含风格目标图像的风格半向量与内容目标图像的内容半向量。一旦从生成器网络获得图像，便施加判别网络以生成更具照片真实感的图像。在 CelebA 和 UT Zappos 50K 数据集上的实验表明，S3-GAN 能够同时实现风格分离与合成，并可在单一模型中捕捉多种风格。
引用
@article{arxiv.1811.02740,
title = {Style Separation and Synthesis via Generative Adversarial Networks},
author = {Rui Zhang and Sheng Tang and Yu Li and Junbo Guo and Yongdong Zhang and Jintao Li and Shuicheng Yan},
journal= {arXiv preprint arXiv:1811.02740},
year = {2018}
}