合成未见姿态下的人体图像
计算机视觉与模式识别
2018-04-23 v1
摘要
我们研究新的人体姿态合成这一计算问题。给定一张人物图像和一个目标姿态，我们生成该人物处于该姿态下的图像，同时保留人物与背景的外观。我们提出一个模块化生成神经网络，利用从人体动作视频中提取的图像与姿态训练对来合成未见姿态。我们的网络将场景分离为不同的身体部位与背景图层，将身体部位移动到新位置并细化其外观，再将新前景与填补空洞后的背景进行合成。这些由独立模块实现的子任务仅以单张目标图像作为监督标签进行联合训练。我们使用对抗判别器来迫使网络基于姿态合成逼真的细节。我们在三类动作上展示了图像合成结果：高尔夫、瑜伽/健身和网球，并表明我们的方法在类内及跨类动作上均能生成准确结果。给定一系列目标姿态，我们还能生成连贯的动作视频。
引用
@article{arxiv.1804.07739,
title = {Synthesizing Images of Humans in Unseen Poses},
author = {Guha Balakrishnan and Amy Zhao and Adrian V. Dalca and Fredo Durand and John Guttag},
journal= {arXiv preprint arXiv:1804.07739},
year = {2018}
}
备注
CVPR 2018