Video2Game：从单一视频构建实时、交互、逼真且浏览器兼容的环境

创建高质量且交互的虚拟环境（如游戏和模拟器）通常涉及复杂且昂贵的手动建模过程。在本文中，我们提出了 Video2Game，一种将真实世界场景的视频自动转换为逼真且可交互的游戏环境的新方法。我们系统的核心是三个关键组件：(i) 一个有效捕捉场景几何与视觉外观的神经辐射场（NeRF）模块；(ii) 一个从 NeRF 中提取知识以实现更快渲染的网格模块；以及 (iii) 一个对物体间的交互与物理动力学进行建模的物理模块。通过遵循精心设计的流程，可以构建真实世界的可交互、可操作的数字副本。我们在室内和大规模室外场景上对系统进行了基准测试。结果表明，我们不仅能实时生成高度逼真的渲染，还能在此基础上构建交互式游戏。