驶向现实都市的世界模拟模型基准

如果一个世界模拟模型能够渲染的并非想象中的环境，而是一个实际存在的城市呢？以往的生成式世界模型通过想象所有内容来合成视觉上合理却人造的环境。我们提出了首个以实际城市首尔为基础的世界模型（Seoul World Model, SWM）。SWM通过检索增强地对附近街景图像进行自回归视频生成进行锚定。然而，这一设计引入了若干挑战，包括检索参考与动态目标场景之间的时间错位、由于车载设备稀疏间隔捕获导致的轨迹多样性不足和数据稀缺。我们通过跨时间配对、大规模synthetic数据集实现轨迹多样性，并构建一种视图插值管道，从稀疏街景图像合成连贯的训练视频。我们进一步引入虚拟前瞻sink，以稳定长期生成，通过持续对每个块重新锚定到未来位置的检索图像。我们在首尔、釜山和安纳伯利三个城市上评估了SWM。在生成驶向实际城市环境的 spatially faithful、temporally consistent、long-horizon视频方面，SWM在数百米的轨迹范围内，支持多样化的摄像机运动和文本提示情景变体，优于现有方法。