NeuMan：基于单段视频的神经人体辐射场
计算机视觉与模式识别
2022-09-23 v2
摘要
人体的真实感渲染与姿态重摆对于实现增强现实体验十分重要。我们提出了一种新颖的框架，仅从一段野外单视频中重建人体与场景，并能够以新颖的人体姿态和视角进行渲染。给定由运动相机捕获的视频，我们训练两个 NeRF 模型：一个人体 NeRF 模型和一个场景 NeRF 模型。为训练这些模型，我们依赖现有方法来估计人体与场景的粗略几何。这些粗略几何估计使我们能够构建从观测空间到规范姿态无关空间的扭曲场，并在其中训练人体模型。我们的方法仅从一段 10 秒视频片段中学习到受试者特定细节（包括衣物褶皱与配饰），并在新颖姿态、新颖视角下连同背景一起提供高质量的人体渲染。
引用
@article{arxiv.2203.12575,
title = {NeuMan: Neural Human Radiance Field from a Single Video},
author = {Wei Jiang and Kwang Moo Yi and Golnoosh Samei and Oncel Tuzel and Anurag Ranjan},
journal= {arXiv preprint arXiv:2203.12575},
year = {2022}
}