全息传送角色：基于稀疏 RGB 相机的实时人体自由视点渲染

我们提出了第一种从稀疏多视角录制到显示的实时渲染方法，能够以前所未有的 4K 分辨率渲染穿着普通服装的人类演员的高度逼真自由视点视频。在推理阶段，我们的方法仅需要移动演员的四个相机视角以及相应的 3D 骨骼姿态。该方法能够处理穿着宽松服装的演员，甚至能重现精细的动态细节，例如衣物褶皱、面部表情和手势。在训练阶段，我们基于学习的方法需要密集的多视角视频和演员的绑定静态表面扫描。我们的方法包含三个主要阶段。阶段 1 是一种骨骼驱动的神经方法，用于高质量捕获详细的动态网格几何体。阶段 2 是一种新颖的解决方案，使用四个测试时的相机视角作为输入来创建视角相关的纹理。最后，阶段 3 包含一个新的基于图像的细化网络，根据前几个阶段的输出渲染最终的 4K 图像。我们的方法利用稀疏输入相机视角，在实时渲染分辨率和质量上确立了新的基准，为沉浸式远程呈现开启了可能性。