用于实时动态视图合成的时空高斯特征泼溅

动态场景的新视图合成一直是一个引人入胜且充满挑战的问题。尽管近期取得了进展，但同时实现高分辨率真实感结果、实时渲染和紧凑存储仍然是一项艰巨的任务。为了应对这些挑战，我们提出了一种作为新型动态场景表示的时空高斯特征泼溅，它由三个关键组件组成。首先，我们通过用时间不透明度和参数化运动/旋转增强 3D 高斯，构建了富有表现力的时空高斯。这使得时空高斯能够捕获场景中的静态、动态以及瞬态内容。其次，我们引入了泼溅特征渲染，用神经特征代替球谐函数。这些特征有助于对依赖视图和依赖时间的外观进行建模，同时保持较小的尺寸。第三，我们利用训练误差和粗略深度的引导，在现有流程难以收敛的区域采样新的高斯。在几个既定的真实世界数据集上的实验表明，我们的方法实现了 SOTA 的渲染质量和速度，同时保留了紧凑的存储。在 8K 分辨率下，我们的轻量版模型可以在 Nvidia RTX 4090 GPU 上以 60 FPS 进行渲染。我们的代码可在 https://github.com/oppo-us-research/SpacetimeGaussians 获取。