基于单目视图的人体图像合成中的风格与姿态控制
计算机视觉与模式识别
2021-02-23 v1
摘要
从单幅图像对人物进行照片级真实感重渲染，并显式控制身体姿态、形状与外观，可支撑广泛应用，如人体外观迁移、虚拟试穿、动作模仿与新视角合成。尽管利用GAN等基于学习的图像生成工具在该方向上已取得显著进展，现有方法仍产生明显伪影，如细节模糊、身体部位与服装的不真实扭曲以及纹理的严重改变。因此，我们提出一种新方法，用于合成照片级真实感人体图像，并显式控制姿态与基于部件的外观，即StylePoseGAN，其中我们将一个不可控生成器扩展为分别接受姿态与外观条件。我们的网络可通过人体图像以全监督方式训练，以解耦姿态、外观与身体部件，并且显著优于现有单图像重渲染方法。我们的解耦表示为进一步应用打开了空间，如服装迁移、动作迁移、虚拟试穿、头部（身份）交换与外观插值。在常见感知指标上，StylePoseGAN相较于当前最佳方法实现了最先进的图像生成保真度，并在综合用户研究中令人信服。
引用
@article{arxiv.2102.11263,
title = {Style and Pose Control for Image Synthesis of Humans from a Single Monocular View},
author = {Kripasindhu Sarkar and Vladislav Golyanik and Lingjie Liu and Christian Theobalt},
journal= {arXiv preprint arXiv:2102.11263},
year = {2021}
}