DrivingForward：基于灵活周边视图输入的驱动场景三维高斯溅射重建

我们提出了 DrivingForward，一个从灵活的周边视图输入进行 feed-forward 高斯溅射重建的模型，用于重建驾驶场景。车载摄像机的驾驶场景图像通常稀疏，重叠有限，车辆的运动进一步复杂化了摄像机外参的获取。为解决这些挑战并实现实时重建，我们联合训练一个姿态网络、一个深度网络和一个高斯网络来预测表示驾驶场景的高斯原始值。姿态网络和深度网络以自监督方式确定高斯原始值在空间中的位置，而无需在训练期间使用深度 ground truth 和摄像机外参。高斯网络独立地从每个输入图像中预测原始值参数，包括协方差、不透明度和球形高斯系数。在推断阶段，该模型可以从灵活的多帧周边视图输入实现 feed-forward 重建。在 nuScenes 数据集上的实验表明，我们的模型在重建方面优于现有的 state-of-the-art feed-forward 和 scene-optimized 重建方法。