基于可微渲染的人体姿态操控与新视角合成
计算机视觉与模式识别
2022-02-22 v2
摘要
我们提出了一种在新姿态下合成人物新视角图像的新方法。我们新颖的可微渲染器能够从任意视点合成高度逼真的图像。不同于基于网格结构的操作，我们的渲染器利用直接表示人体底层骨骼结构的漫射高斯基元。渲染这些基元会生成高维潜在图像，然后由解码器网络将其转换为RGB图像。该公式形成了一个完全可微的框架，可以进行端到端训练。我们在Human3.6M和Panoptic Studio数据集上展示了该方法在图像重建上的有效性。我们展示了该方法如何用于个体间的运动迁移；从单个摄像机捕获的个体的新视角合成；从任意虚拟视点合成个体；以及在新姿态下重新渲染人物。代码和视频结果可在https://github.com/GuillaumeRochette/HumanViewSynthesis获取。
引用
@article{arxiv.2111.12731,
title = {Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering},
author = {Guillaume Rochette and Chris Russell and Richard Bowden},
journal= {arXiv preprint arXiv:2111.12731},
year = {2022}
}
备注
Accepted at Face and Gesture 2021, 8 pages, 7 figures