OccGaussian：面向遮挡人体渲染的 3D 高斯泼溅

从单目视频渲染动态 3D 人体对于虚拟现实和数字娱乐等各种应用至关重要。大多数方法假设人物处于无遮挡场景中，而在真实场景中各种物体可能导致身体部位的遮挡。先前的方法利用 NeRF 进行表面渲染以恢复遮挡区域，但其训练需要超过一天的时间，渲染需要数秒，无法满足实时交互应用的需求。为了解决这些问题，我们提出了基于 3D Gaussian Splatting 的 OccGaussian，该方法可在 6 分钟内完成训练，并在遮挡输入下以高达 160 FPS 的速度生成高质量人体渲染。OccGaussian 在规范空间中初始化 3D 高斯分布，我们在遮挡区域执行遮挡特征查询，提取聚合的像素对齐特征以补偿缺失信息。然后，我们使用 Gaussian Feature MLP 结合遮挡感知损失函数进一步处理特征，以更好地感知遮挡区域。在模拟和真实世界遮挡中的大量实验表明，与最先进的方法相比，我们的方法取得了相当甚至更优的性能。并且我们将训练和推理速度分别提高了 250 倍和 800 倍。我们的代码将可用于研究目的。