用于可控人体图像生成的对应学习
计算机视觉与模式识别
2020-12-24 v1
摘要
我们提出了一种用于可控人体图像合成的生成模型，如图所示，其可应用于姿态引导的人体图像合成（即，将源人体图像的姿态转换为目标姿态，同时保留该源人体图像的纹理）以及服装引导的人体图像合成（即，将源人体图像的服装纹理更改为期望的服装纹理）。通过显式建立目标姿态与源图像之间的稠密对应，我们能有效解决姿态迁移引入的错位并生成高质量图像。具体而言，我们首先在目标姿态引导下生成目标语义图，其在生成过程中可提供更准确的姿态表示与结构约束。随后，使用分解属性编码器提取分量特征，其不仅有助于建立更精确的稠密对应，也实现了服装引导的人体生成。之后，我们将在分片域内建立目标姿态与源图像之间的稠密对应。源图像特征依据该稠密对应进行扭曲，以灵活应对形变。最后，网络基于扭曲后的源图像特征与目标姿态渲染图像。实验结果表明，我们的方法在姿态引导人体生成上优于state-of-the-art方法，并在服装引导人体生成上有效。
引用
@article{arxiv.2012.12440,
title = {Correspondence Learning for Controllable Person Image Generation},
author = {Shilong Shen},
journal= {arXiv preprint arXiv:2012.12440},
year = {2020}
}