基于可微渲染的人体新视角合成
计算机视觉与模式识别
2023-03-29 v1
摘要
我们提出了一种合成人物在新姿态下新视角的新方法。我们的新型可微渲染器能够从任意视点合成高度逼真的图像。与基于网格结构不同，我们的渲染器利用漫反射高斯图元直接表示人体潜在的骨骼结构。渲染这些图元得到高维潜图像，随后由解码网络转换为RGB图像。该表述形成了一个可端到端训练的全可微框架。我们在Human3.6M和Panoptic Studio数据集上展示了该方法在图像重建上的有效性。我们展示了该方法如何用于个体间的运动迁移；从单相机捕获个体的新视角合成；从任意虚拟视点合成个体；以及以新姿态重新渲染人物。代码与视频结果见 https://github.com/GuillaumeRochette/HumanViewSynthesis。
引用
@article{arxiv.2303.15880,
title = {Novel View Synthesis of Humans using Differentiable Rendering},
author = {Guillaume Rochette and Chris Russell and Richard Bowden},
journal= {arXiv preprint arXiv:2303.15880},
year = {2023}
}
备注
Accepted at IEEE transactions on Biometrics, Behavior, and Identity Science, 10 pages, 11 figures. arXiv admin note: substantial text overlap with arXiv:2111.12731