用于沉浸式以人为中心的体积视频的鲁棒双高斯泼溅

体积视频代表了视觉媒体的变革性进步，使用户能够自由导航沉浸式虚拟体验，并缩小了数字世界与现实世界之间的差距。然而，现有工作流中需要大量人工干预来稳定网格序列以及生成过大的资产，阻碍了其更广泛的应用。在本文中，我们提出了一种新颖的基于高斯的方法，称为 DualGS，用于以极佳的压缩率实时且高保真地回放复杂的人类表演。我们在 DualGS 中的核心思想是使用相应的皮肤高斯和关节高斯分别表示运动和外观。这种显式的解耦可以显著减少运动冗余并增强时间连贯性。我们首先初始化 DualGS，并在第一帧将皮肤高斯锚定到关节高斯上。随后，我们采用由粗到细的训练策略进行逐帧的人类表演建模。它包括用于整体运动预测的粗对齐阶段，以及用于鲁棒跟踪和高保真渲染的细粒度优化。为了将体积视频无缝集成到 VR 环境中，我们使用熵编码高效压缩运动，并使用编解码器压缩外观，同时结合持久码本。我们的方法实现了高达 120 倍的压缩率，每帧仅需约 350KB 的存储空间。我们通过 VR 头显上逼真的自由视角体验展示了我们表示的有效性，使用户能够沉浸式地观看音乐家的表演，并感受表演者指尖音符的节奏。