HouseCrafter：基于2D扩散模型将平面图提升为3D场景
计算机视觉与模式识别
2025-08-20 v2
摘要
我们提出HouseCrafter，一种新颖的方法，可将平面图提升为完整的大型3D室内场景(例如，房屋)。我们的关键洞察是改编一个在web规模图像上进行训练的2D扩散模型，以在场景不同位置生成一致的多视角彩色(RGB)和深度(D)图像。具体而言，按样本位置基于平面图按批次方式自行生成RGB-D图像，其中先前生成的图像用作扩散模型生成相邻位置图像的条件。全局平面图和扩散模型中的注意力设计确保了生成图像的一致性，可据此重建3D场景。通过在3D-Front数据集上进行广泛评估，我们展示HouseCraft能够生成高质量的房屋规模3D场景。消融研究也验证了不同设计选择的有效性。我们将发布代码和模型权重。项目页面：https://neu-vi.github.io/houseCrafter/
引用
@article{arxiv.2406.20077,
title = {HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model},
author = {Hieu T. Nguyen and Yiwen Chen and Vikram Voleti and Varun Jampani and Huaizu Jiang},
journal= {arXiv preprint arXiv:2406.20077},
year = {2025}
}