基于 4D 高斯泼溅的实时真实感动态场景表示与渲染

从 2D 图像重建动态 3D 场景并随时间生成多样化视角，由于场景复杂性和时间动态性而具有挑战性。尽管神经隐式模型取得了进展，仍存在局限：(i) 场景结构不充分：现有方法难以通过直接学习复杂的 6D 全光函数揭示动态场景的时空结构。(ii) 形变建模的扩展性：对复杂动态显式建模场景元素形变变得不切实际。为解决这些问题，我们将时空视为一个整体，并提出通过优化一组具有显式几何与外观建模的 4D 基元来近似动态场景潜在的时空 4D 体积。学习优化 4D 基元使我们能以量身定制的渲染流程在任意期望时间合成新视角。我们的模型概念上简单，由一个由各向异性椭球参数化的 4D 高斯组成，该椭球可在空间和时间中任意旋转，以及由 4D 球谐系数表示的视角相关且随时间演化的外观。该方法具有简单性、对变长视频的灵活性和端到端训练，以及高效的实时渲染，使其适用于捕捉复杂动态场景运动。在包括单目和多视角场景的多个基准上的实验证明了我们的 4DGS 模型优越的视觉质量和效率。