面向大规模体积捕获的细节增强高斯溅射

我们提出了一个独特的系统，用于大规模、多表演者、高分辨率4D体积捕获，提供具备现实感的自由视角视频，包括4K分辨率的人脸近程特写。为实现这一目标，我们采用基于动态高斯溅射和基于扩散的细节增强的新型体积捕获、重建和渲染管线。我们专为满足高端媒体制作需求而设计了管线。我们采用两种捕获装置：场景装置捕获多演员表演的分辨率不足以达到4K制作质量；面部装置记录高保真单演员人脸细节，用作细节增强参考。首先，我们使用4D高斯溅射从场景装置重建动态表演，纳入新的模型设计和训练策略以提高重建质量、动态范围和渲染质量。然后为了渲染人脸近程的高质量图像，我们引入基于扩散的细节增强模型。该模型使用来自面部装置的高保真数据进行微调。我们使用来自低质量和高质量高斯溅射模型生成的配对数据进行训练，以低质量输入匹配场景装置的质量，高质量GS作为参考。我们的结果表明，这一管线在桥接大规模捕获装置的可扩展性能与电影和媒体制作所需的高分辨率标准方面具有有效性。