GenEx: 生成可探索的世界
计算机视觉与模式识别
2025-01-22 v4 机器人学
摘要
理解、导航和探索三维物理真实世界一直是人工智能发展的核心挑战。在本工作中，我们致力于此目标，提出了GenEx系统，能够通过其生成式想象形成的关于周围环境的先验期望(即期望)来指导复杂的具身世界探索。GenEx 从单张RGB图像生成整个三维一致的想象环境，并通过全景视频流将其“具象化”。我们利用来自虚幻引擎精选的可扩展三维世界数据，该模型嵌入物理世界。它以极少的工作量捕获连续的360度环境，为AI代理提供无限的探索和交互空间。GenEx 实现了高质量的世界生成、长期轨迹的鲁棒循环一致性，并展示了诸如一致性和主动三维映射等强大的3D能力。凭借对世界的生成式想象，借助GPT辅助的代理能够执行复杂的具身任务，包括无目标探索和以目标为导向的导航。这些代理利用对未见物理世界部分的预测期望来细化信念，基于潜在决策模拟不同结果，并作出更明智的选择。总之，我们展示了GenEx为在想象空间中推进具身AI以及将这些能力扩展到真实世界探索提供了变革性平台。
引用
@article{arxiv.2412.09624,
title = {GenEx: Generating an Explorable World},
author = {Taiming Lu and Tianmin Shu and Junfei Xiao and Luoxin Ye and Jiahao Wang and Cheng Peng and Chen Wei and Daniel Khashabi and Rama Chellappa and Alan Yuille and Jieneng Chen},
journal= {arXiv preprint arXiv:2412.09624},
year = {2025}
}
备注
Website: GenEx.world