从单张图像生成3D世界的方案
计算机视觉与模式识别
2025-03-24 v1 人工智能
机器学习
摘要
我们提出了一种从单张图像生成沉浸式3D世界的方案，通过将任务框架化为2D修复模型的上下文学习问题。该方法仅需最少的训练，并使用现有的生成模型。我们的过程包括两步：使用预训练的扩散模型生成连贯的全景图，并通过度量深度估计器将其提升为3D。然后，我们通过以渲染的点云为条件来修复未观察到的区域，仅需最少的微调。在合成图像和真实图像上测试后，我们的方法产生了适合VR显示的高质量3D环境。通过从一开始就显式建模生成环境的3D结构，我们的方法在多个定量图像质量指标上持续优于最先进的基于视频合成的方法。项目页面：https://katjaschwarz.github.io/worlds/
引用
@article{arxiv.2503.16611,
title = {A Recipe for Generating 3D Worlds From a Single Image},
author = {Katja Schwarz and Denys Rozumnyi and Samuel Rota Bulò and Lorenzo Porzi and Peter Kontschieder},
journal= {arXiv preprint arXiv:2503.16611},
year = {2025}
}