$\textit{S}^3$Gaussian:面向自动驾驶的自监督街道高斯
计算机视觉与模式识别
2024-05-31 v1 人工智能
摘要
对街道场景的照片级3D重建是开发现实世界模拟器的关键技术。尽管Neural Radiance Fields(NeRF)在驾驶场景中表现出色,但3D高斯溅写(3DGS)因其更快的速度和更明确的表示而成为值得期待的方向。然而,大多数现有的街道3DGS方法需要跟踪3D车辆边界框来分解静态和动态元素,以实现有效的重建,限制了其在野生场景中的应用。为促进无需昂贵注释的高效3D场景重建,我们提出一种自监督街道高斯(Gaussian)方法,通过4D一致性分解动态和静态元素。我们用3D高斯表示每个场景以保留明确性,并伴随一个时空场网络紧凑地建模4D动态。我们在具有挑战性的Waymo-Open数据集上开展了大量实验,以评估方法的有效性。我们的Gaussian展示了分解静态和动态场景的能力,并在不使用3D注释的情况下实现了最佳性能。代码可在:https://github.com/nnanhuang/S3Gaussian/ 查阅。
引用
@article{arxiv.2405.20323,
title = {$\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving},
author = {Nan Huang and Xiaobao Wei and Wenzhao Zheng and Pengju An and Ming Lu and Wei Zhan and Masayoshi Tomizuka and Kurt Keutzer and Shanghang Zhang},
journal= {arXiv preprint arXiv:2405.20323},
year = {2024}
}
备注
Code is available at: https://github.com/nnanhuang/S3Gaussian/