TCLC-GS：面向自动驾驶的紧耦合激光雷达-相机高斯泼溅
计算机视觉与模式识别
2024-07-16 v2
摘要
大多数基于3D高斯泼溅（3D-GS）的城市场景方法直接用3D激光雷达点初始化3D高斯，这不仅未充分利用激光雷达数据的能力，还忽视了融合激光雷达与相机数据的潜在优势。在本文中，我们设计了一种新颖的紧耦合激光雷达-相机高斯泼溅（TCLC-GS），以充分利用激光雷达和相机传感器的联合优势，实现快速、高质量的3D重建和新视角RGB/深度合成。TCLC-GS设计了一种混合显式（彩色3D网格）和隐式（分层八叉树特征）的3D表示，该表示源自激光雷达-相机数据，以丰富用于泼溅的3D高斯的属性。3D高斯的属性不仅与提供更完整3D形状和颜色信息的3D网格对齐初始化，而且通过检索八叉树隐式特征被赋予更广泛的上下文信息。在高斯泼溅优化过程中，3D网格提供密集深度信息作为监督，通过学习鲁棒的几何结构来增强训练过程。在Waymo开放数据集和nuScenes数据集上进行的全面评估验证了我们方法的最先进（SOTA）性能。使用单个NVIDIA RTX 3090 Ti，我们的方法在城市场景中实现了快速训练，并在1920x1280分辨率（Waymo）下达到90 FPS的实时RGB和深度渲染，在1600x900分辨率（nuScenes）下达到120 FPS。
引用
@article{arxiv.2404.02410,
title = {TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving},
author = {Cheng Zhao and Su Sun and Ruoyu Wang and Yuliang Guo and Jun-Jun Wan and Zhou Huang and Xinyu Huang and Yingjie Victor Chen and Liu Ren},
journal= {arXiv preprint arXiv:2404.02410},
year = {2024}
}