SofGAN：具备动态风格化的肖像图像生成器
计算机视觉与模式识别
2021-08-09 v2 图形学
摘要
近来，生成对抗网络（GANs）已被广泛用于肖像图像生成。然而，在 GAN 学习的潜空间中，不同属性（如姿态、形状和纹理风格）通常是纠缠在一起的，使得对特定属性的显式控制十分困难。为解决此问题，我们提出 SofGAN 图像生成器，将肖像的潜空间解耦为两个子空间：几何空间与纹理空间。从两个子空间采样的潜码分别送入两个网络分支，一个生成具有规范姿态的肖像 3D 几何，另一个生成纹理。对齐的 3D 几何还带有语义部件分割，编码为语义占用场（SOF）。SOF 可在任意视角渲染一致的 2D 语义分割图，随后使用我们的语义实例级（SIW）模块将其与生成的纹理图融合并风格化为肖像照片。通过大量实验，我们表明我们的系统能生成具有可独立控制的几何与纹理属性的高质量肖像图像。该方法在外观一致的面部动画和动态风格化等多种应用中也具有良好泛化性。
引用
@article{arxiv.2007.03780,
title = {SofGAN: A Portrait Image Generator with Dynamic Styling},
author = {Anpei Chen and Ruiyang Liu and Ling Xie and Zhang Chen and Hao Su and Jingyi Yu},
journal= {arXiv preprint arXiv:2007.03780},
year = {2021}
}
备注
Project page: https://apchenstu.github.io/sofgan/ Code: https://github.com/apchenstu/sofgan