Street Gaussians：利用高斯泼溅建模动态城市场景

本文旨在解决自动驾驶场景中动态城市街道建模的问题。最近的方法通过结合跟踪的车辆位姿来扩展 NeRF 以动画化车辆，从而实现动态城市场景的照片级真实视图合成。然而，其显著的局限性在于训练和渲染速度慢。我们引入了 Street Gaussians，一种新的显式场景表示方法来解决这些局限性。具体而言，动态城市场景被表示为一组配备语义 logits 和 3D 高斯的点云，每个点云与前景车辆或背景相关联。为了建模前景物体车辆的动态，每个物体点云都通过可优化的跟踪位姿进行优化，并配有用于动态外观的 4D 球谐函数模型。这种显式表示允许轻松组合物体车辆和背景，进而允许场景编辑操作，并在半小时的训练内以 135 FPS（$1066 \times 1600$ 分辨率）进行渲染。所提出的方法在多个具有挑战性的基准测试上进行了评估，包括 KITTI 和 Waymo Open 数据集。实验表明，所提出的方法在所有数据集上始终优于最先进的方法。代码将发布以确保可复现性。