NeoWorld：通过渐进式三维展开的可探索虚拟世界的神经模拟
计算机视觉与模式识别
2025-09-30 v1
摘要
我们提出了 NeoWorld，一个从单张输入图像生成交互式三维虚拟世界的深度学习框架。该系统受科幻小说 Simulacron-3 (1964) 中按需世界构建概念的启发，构建了广阔的环境，其中仅用户主动探索的区域通过基于物体的三维表示以高视觉真实感渲染。与依赖全局世界生成或二维幻觉生成的先前方法不同，NeoWorld 对关键前景物体进行完整三维建模，同时以二维合成背景和未交互区域以确保效率。这种混合场景结构，结合前沿的表示学习和物体到三维技术，实现了灵活的视角操控和物理上合理的场景动画，允许用户使用自然语言命令控制物体的外观和动力学。随着用户与环境的交互，虚拟世界逐步展开，呈现出越来越多的三维细节，提供动态、沉浸式和视觉一致的探索体验。NeoWorld 在 WorldScore 基准上显著优于现有的二维和深度分层 2.5D 方法。
引用
@article{arxiv.2509.24441,
title = {NeoWorld: Neural Simulation of Explorable Virtual Worlds via Progressive 3D Unfolding},
author = {Yanpeng Zhao and Shanyan Guan and Yunbo Wang and Yanhao Ge and Wei Li and Xiaokang Yang},
journal= {arXiv preprint arXiv:2509.24441},
year = {2025}
}