WonderJourney：从任意处走向每处

Hong-Xing Yu; Haoyi Duan; Junhwa Hur; Kyle Sargent; Michael Rubinstein; William T. Freeman; Forrester Cole; Deqing Sun; Noah Snavely; Jiajun Wu; Charles Herrmann

WonderJourney：从任意处走向每处

计算机视觉与模式识别 2024-04-15 v2 图形学

作者: Hong-Xing Yu , Haoyi Duan , Junhwa Hur , Kyle Sargent , Michael Rubinstein , William T. Freeman , Forrester Cole , Deqing Sun , Noah Snavely , Jiajun Wu , Charles Herrmann

在 arXiv 上查看 ↗ PDF ↗

摘要

我们引入了 WonderJourney，这是一个用于持续 3D 场景生成的模块化框架。与以往专注于单一类型场景的视图生成工作不同，我们从任何用户提供的地点（通过文本描述或图像）开始，生成一段穿越长序列多样且连贯相连的 3D 场景的旅程。我们利用 LLM 生成此旅程中场景的文本描述，利用文本驱动的点云生成流水线制作引人入胜且连贯的 3D 场景序列，并利用大型 VLM 验证生成的场景。我们展示了跨越各种场景类型和风格的引人入胜、多样的视觉结果，构成了充满想象力的“wonderjourneys”。项目网站：https://kovenyu.com/WonderJourney/

关键词

3D 场景生成持续生成大型语言模型视觉-语言模型点云生成

引用

@article{arxiv.2312.03884,
  title  = {WonderJourney: Going from Anywhere to Everywhere},
  author = {Hong-Xing Yu and Haoyi Duan and Junhwa Hur and Kyle Sargent and Michael Rubinstein and William T. Freeman and Forrester Cole and Deqing Sun and Noah Snavely and Jiajun Wu and Charles Herrmann},
  journal= {arXiv preprint arXiv:2312.03884},
  year   = {2024}
}

备注

Project website with video results: https://kovenyu.com/WonderJourney/

WonderJourney：从任意处走向每处

摘要

关键词

引用

备注

相关论文