SceneDreamer：从 2D 图像集合生成无界 3D 场景
计算机视觉与模式识别
2023-12-08 v3 图形学
摘要
在这项工作中，我们提出 SceneDreamer，一种用于无界 3D 场景的无条件生成模型，它从随机噪声合成大规模 3D 景观。我们的框架仅从野外的 2D 图像集合中学习，无需任何 3D 标注。SceneDreamer 的核心是一个原则性的学习范式，包括 1）高效且富有表现力的 3D 场景表示，2）生成式场景参数化，以及 3）能够有效利用 2D 图像知识的学习器。我们的方法从由单纯形噪声生成的高效鸟瞰图（BEV）表示开始，其中包含用于表面高程的高度场和用于详细场景语义的语义场。这种 BEV 场景表示能够 1）以二次复杂度表示 3D 场景，2）解耦几何与语义，以及 3）高效训练。此外，我们提出一种新颖的生成式神经哈希网格，基于 3D 位置和场景语义对潜在空间进行参数化，旨在编码跨各种场景的可泛化特征。最后，通过对抗训练从 2D 图像集合学习到的神经体积渲染器被用于生成逼真图像。大量实验证明了 SceneDreamer 的有效性，以及在生成生动且多样的无界 3D 世界方面优于最先进的方法。
引用
@article{arxiv.2302.01330,
title = {SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections},
author = {Zhaoxi Chen and Guangcong Wang and Ziwei Liu},
journal= {arXiv preprint arXiv:2302.01330},
year = {2023}
}
备注
IEEE Transactions on Pattern Analysis & Machine Intelligence (TPAMI) 2023; Project Page https://scene-dreamer.github.io/ Code https://github.com/FrozenBurning/SceneDreamer