带风格的姿态：基于条件StyleGAN的细节保持姿态引导图像合成
计算机视觉与模式识别
2021-09-14 v1
摘要
我们提出了一种从单幅图像在任意姿态下重新渲染人物的算法。现有方法通常难以在保持源图像中身份与精细细节的同时，以照片真实感幻觉出被遮挡的内容。我们首先利用人体对称性先验学习修复人体表面纹理与源图像之间的对应场。修复后的对应场使我们能够将源中提取的局部特征转移/扭曲到目标视角，即便在大幅姿态变化下也可行。直接使用简单CNN解码器将扭曲的局部特征映射到RGB图像常导致可见伪影。因此，我们扩展StyleGAN生成器，使其以姿态作为输入（用于控制姿态）并利用扭曲的局部特征对潜空间进行空间变化调制（用于控制外观）。我们表明，在定量评估与视觉比较中，我们的方法均优于最先进的算法。
引用
@article{arxiv.2109.06166,
title = {Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN},
author = {Badour AlBahar and Jingwan Lu and Jimei Yang and Zhixin Shu and Eli Shechtman and Jia-Bin Huang},
journal= {arXiv preprint arXiv:2109.06166},
year = {2021}
}
备注
SIGGRAPH Asia 2021. Project page: https://pose-with-style.github.io/