AutoSplat：受约束高斯溅射用于自动驾驶场景重建
计算机视觉与模式识别
2024-07-08 v2 人工智能
摘要
真实的场景重建和视图合成是推进自动驾驶系统的关键手段，通过模拟安全关键场景。3D 高斯溅射在实时渲染和静态场景重建方面表现突出，但在建模驾驶场景时因复杂背景、动态物体和稀疏视图而受限。我们提出 AutoSplat，一种利用高斯溅射实现自动驾驶场景高度真实重建的框架。通过对代表道路和天空区域的高斯施加几何约束，我们的方法 enables 对包括 lane change 在内的具挑战性场景进行多视图一致模拟。利用 3D 模板，我们引入反射高斯一致性约束来监督前景物体的可见及不可见侧。此外，为了建模前景物体的动态外观，我们为每个前景高斯估计残差球面谐波。在 Pandaset 和 KITTI 上进行的大规模实验表明，AutoSplat 在多样化驾驶场景中在场景重建和新颖视图合成方面超越了最先进的方法。访问我们的项目页面 https://autosplat.github.io/。
引用
@article{arxiv.2407.02598,
title = {AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction},
author = {Mustafa Khan and Hamidreza Fazlali and Dhruv Sharma and Tongtong Cao and Dongfeng Bai and Yuan Ren and Bingbing Liu},
journal= {arXiv preprint arXiv:2407.02598},
year = {2024}
}