DOME：将扩散模型驯服为高保真可控占据式世界模型
计算机视觉与模式识别
2024-10-15 v1
摘要
我们提出DOME（Diffusion-based Occupancy World Model），一种基于扩散模型的世界模型，预测基于过去占据观察结果的未来占据帧。该世界模型捕捉环境演化能力对于自动驾驶中的规划至关重要。与2D视频-based世界模型相比，占据式世界模型采用原生3D表示，该表示具有易获得的标注且对模态无关。这一灵活性有望促进更高级世界模型的开发。现有占据式世界模型要么因离散标记化而产生细节损失，要么依赖简单化的扩散架构，导致效率低下且难以实现可控的未来占据预测。我们的DOME具有两个关键特征：(1) 高保真与持久生成。我们采用空间时间扩散变换器，基于历史上下文预测未来占据帧。该架构有效捕捉空间时间信息，使我们能够实现高保真细节并生成持久预测。(2) 细粒度可控性。我们通过引入轨迹重抽样方法来解决预测可控性挑战，显著增强了模型生成受控预测的能力。针对广泛使用的nuScenes数据集进行大量实验，表明我们的方法在定性和定量评估中均优于现有基线，在nuScenes上建立了新的SOTA性能。具体而言，我们的方法在占据重建中在mIoU和IoU上分别超过基线10.5%和21.2%，在4D占据预测中在mIoU和IoU上分别超过基线36.0%和24.6%。
引用
@article{arxiv.2410.10429,
title = {DOME: Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model},
author = {Songen Gu and Wei Yin and Bu Jin and Xiaoyang Guo and Junming Wang and Haodong Li and Qian Zhang and Xiaoxiao Long},
journal= {arXiv preprint arXiv:2410.10429},
year = {2024}
}
备注
Please visit our project page at https://gusongen.github.io/DOME