RoomDreamer：基于文本驱动且具有连贯几何与纹理的 3D 室内场景合成
计算机视觉与模式识别
2023-05-22 v1
摘要
3D 室内场景捕获技术已被广泛使用，但所生成的网格尚不尽如人意。本文提出“RoomDreamer”，其利用强大的自然语言合成具有不同风格的新房间。不同于现有的图像合成方法，我们的工作应对了同时合成与输入场景结构及提示对齐的几何与纹理这一挑战。关键洞见在于，场景应作为一个整体对待，兼顾场景纹理与几何。所提框架由两个重要组件构成：Geometry Guided Diffusion（几何引导扩散）与 Mesh Optimization（网格优化）。用于 3D 场景的 Geometry Guided Diffusion 通过将 2D 先验同时应用于整个场景，保证场景风格的一致性。Mesh Optimization 联合改善几何与纹理，并消除扫描场景中的伪影。为验证所提方法，我们使用智能手机扫描的真实室内场景进行大量实验，由此证明了方法的有效性。
引用
@article{arxiv.2305.11337,
title = {RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture},
author = {Liangchen Song and Liangliang Cao and Hongyu Xu and Kai Kang and Feng Tang and Junsong Yuan and Yang Zhao},
journal= {arXiv preprint arXiv:2305.11337},
year = {2023}
}
备注
Video results: https://youtu.be/p4xgwj4QJcQ