GaussianFormer-2：高效 3D 占用预测的概率性高斯叠加
计算机视觉与模式识别
2024-12-09 v2 人工智能
机器学习
摘要
3D 语义占用预测是面向视觉主导的自动驾驶的重要任务，预测周围场景的细粒度几何与语义。现有方法大多采用稠密网格表示，忽视了驾驶场景的空间稀疏性。虽然 3D 语义高斯作为基于对象的稀疏替代方案，但大多数高斯仍以低效方式描述空旷区域。为此，本文提出概率性高斯叠加模型，将每个高斯解释为其邻域被占用的概率分布，符合概率乘法推导整体几何。此外，我们采用精确的高斯混合模型进行语义计算，以避免不必要的高斯重叠。为有效初始化非空区域的高斯，我们设计了基于分布的初始化模块，学习像素对齐的占用分布而非表面深度。我们在 nuScenes 和 KITTI-360 数据集上进行大量实验，GaussianFormer-2 以高效能实现最新性能。代码：https://github.com/huang-yh/GaussianFormer。
引用
@article{arxiv.2412.04384,
title = {GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction},
author = {Yuanhui Huang and Amonnut Thammatadatrakoon and Wenzhao Zheng and Yunpeng Zhang and Dalong Du and Jiwen Lu},
journal= {arXiv preprint arXiv:2412.04384},
year = {2024}
}
备注
Code is available at: https://github.com/huang-yh/GaussianFormer