EvoWorld：基于显式 3D 记忆的全景世界演化生成
计算机视觉与模式识别
2025-10-02 v1
摘要
人类拥有鲜艳的能力，能够精神地探索和回放之前经验的 3D 环境。以此为灵感，我们提出了 EvoWorld：一个连接全景视频生成与演化 3D 记忆的世界模型，以实现空间上一致的长期探索。给定单个全景图像作为输入，EvoWorld 首先通过利用具备细粒度视图控制的视频生成器生成未来视频帧，然后使用一个前馈式插拔式转换器演化场景的 3D 重建，最后通过对几何重投影进行条件化来合成未来。与仅合成视频的先前最先进方法不同，我们的关键见解在于利用这个演化的 3D 重建作为视频生成过程的显式空间指导，将重建的几何图形投影到目标视点，以提供丰富的空间线索，从而显著增强视觉真实性和几何一致性。为评估长期探索能力，我们引入了第一个综合基准，涵盖合成户外环境、Habitat 室内场景以及具有挑战性的真实世界情景，特别强调在扩展轨迹上的环路闭合检测和空间一致性。广泛的实验表明，我们的演化 3D 记忆在视觉保真度和空间场景一致性方面显著优于现有方法，标志着向长期轨迹空间一致世界建模迈出了重大进步。
引用
@article{arxiv.2510.01183,
title = {EvoWorld: Evolving Panoramic World Generation with Explicit 3D Memory},
author = {Jiahao Wang and Luoxin Ye and TaiMing Lu and Junfei Xiao and Jiahan Zhang and Yuxiang Guo and Xijun Liu and Rama Chellappa and Cheng Peng and Alan Yuille and Jieneng Chen},
journal= {arXiv preprint arXiv:2510.01183},
year = {2025}
}
备注
Code available at: https://github.com/JiahaoPlus/EvoWorld