从单幅图像进行人体视角外推
计算机视觉与模式识别
2018-04-13 v1
摘要
我们研究如何从单幅图像合成人体的新视角。尽管近期基于深度学习的方法对刚性物体效果良好，但它们常在大关节物体（如人体）上失败。现有方法的核心步骤是通过 CNN 拟合从可观测视角到新视角的映射；然而，人体丰富的关节模式使得 CNN 很难很好地记忆和插值数据。为解决这个问题，我们提出了一种新颖的基于深度学习的流程，其显式估计并利用底层人体的几何结构。我们的新流程由一个形状估计网络和一个图像生成网络组成，在两者接口处应用透视变换以生成用于像素值传输的前向流。我们的设计能够分解数据变化的空间，并使每一步的学习容易得多。经验上，我们展示对姿态变化物体的性能可得到显著提升。我们的方法也可应用于由 3D 传感器捕获的真实数据，且我们方法生成的流可用于以更高分辨率生成高质量结果。
引用
@article{arxiv.1804.04213,
title = {View Extrapolation of Human Body from a Single Image},
author = {Hao Zhu and Hao Su and Peng Wang and Xun Cao and Ruigang Yang},
journal= {arXiv preprint arXiv:1804.04213},
year = {2018}
}
备注
Accepted to CVPR 2018