GaussianWorld：用于流式3D占用预测的高斯世界模型
计算机视觉与模式识别
2024-12-16 v1 人工智能
机器学习
摘要
3D占用预测对自动驾驶至关重要，因为它能够全面感知周围环境。大多数现有方法通过融合前几帧的表示来推断当前的3D占用，但它们未能考虑驾驶场景的连续性，以及忽略了由3D场景演化所提供的强先验（例如，只有动态对象才会移动）。本文提出一种基于世界模型的框架，用于利用场景演化进行感知。我们将3D占用预测重新表述为以当前传感器输入为条件的4D占用预测问题。我们将场景演化分解为三个因素：1）静态场景的自车运动对齐；2）动态对象的局部运动；3）新观察场景的补全。随后，我们采用高斯世界模型（GaussianWorld）显式地利用这些先验，在考虑当前RGB观测的3D高斯空间中推断场景演化。我们在广泛使用的nuScenes数据集上评估了该框架的有效性。我们的GaussianWorld在不引入额外计算量的前提下，将单帧方法的mIoU提升了超过2%。代码：https://github.com/zuosc19/GaussianWorld。
引用
@article{arxiv.2412.10373,
title = {GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction},
author = {Sicheng Zuo and Wenzhao Zheng and Yuanhui Huang and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2412.10373},
year = {2024}
}
备注
Code is available at: https://github.com/zuosc19/GaussianWorld