LiDARCrafter: 从 LiDAR 序列生成动态 4D 世界模型

生成式世界模型已成为自动驾驶中必需的数据引擎，但大多数现有工作仅关注视频或占据网格，忽略了 LiDAR 的独特特性。将 LiDAR 生成扩展到动态 4D 世界建模面临可控性、时序一致性和评估标准化等挑战。为此，我们提出了 LiDARCrafter，一个用于 4D LiDAR 生成和编辑的统一框架。给定自由形式的自然语言输入，我们将指令解析为以主体视角为导向的场景图（ego-centric scene graphs），这些图条件于一个三分支扩散网络以生成对象结构、运动轨迹和几何。这些结构化条件支持多样且细粒度的场景编辑。此外，一个自回归模块用于生成具有平滑过渡的时序一致的 4D LiDAR 序列。为支持标准化评估，我们建立了一个涵盖场景级、对象级和序列级等多个方面的综合基准。在 nuScenes 数据集上使用该基准进行实验，表明 LiDARCrafter 在保真度、可控性和时序一致性方面实现了所有水平的最先进性能，为数据增强和仿真铺平了道路。我们将代码和基准发布给社区。