HumanNeRF：基于单目视频的自由视点运动人体渲染

我们提出了一种自由视点渲染方法——HumanNeRF——该方法适用于给定的单目人体视频，视频中人体执行复杂的身体运动，例如来自 YouTube 的视频。我们的方法能够将视频暂停在任意帧，并从任意新的相机视角渲染该特定帧与身体姿态下的主体，甚至可沿完整的 360 度相机路径渲染。该任务尤其具有挑战性，因为它需要合成身体的照片级真实细节（从不同相机角度所见，这些角度可能不存在于输入视频中），以及合成诸如衣褶和面部外观等精细细节。我们的方法优化人体在规范 T 姿态下的体素表示，同时配合一个运动场，该运动场通过反向扭曲将估计的规范表示映射到视频的每一帧。运动场被分解为骨骼刚体运动与非刚体运动，由深度网络生成。我们展示了相较先前工作的显著性能提升，以及在具有挑战性的非受控采集场景下基于单目视频运动人体的令人信服的自由视点渲染示例。