LLplace: 基于大语言模型的3D室内场景布局生成与编辑
计算机视觉与模式识别
2024-06-07 v1
摘要
设计3D室内布局是一项关键任务，在虚拟现实、室内设计和自动空间规划中具有重要应用。现有的3D布局设计方法要么依赖于利用空间关系先验的扩散模型，要么大量依赖专有大语言模型（LLM）的推理能力，后者需要通过黑盒试验进行大量的提示工程和上下文示例。这些方法在泛化和动态场景编辑方面常常面临局限性。在本文中，我们介绍了LLplace，一种基于轻量级微调的开源LLM Llama3的新型3D室内场景布局设计器。LLplace规避了对空间关系先验和上下文示例的需求，仅基于用户指定房间类型和所需物体的输入，即可实现高效且可信的房间布局生成。我们基于3D-Front数据集整理了一个新的对话数据集，扩展了原始数据量，并加入了用于添加和移除物体的对话数据。该数据集可以增强LLM的空间理解能力。此外，通过对话，LLplace激活了LLM理解3D布局和执行动态场景编辑的能力，实现了物体的添加和移除。我们的方法表明，LLplace能够有效地交互式生成和编辑3D室内布局，并且在提供高质量3D设计方案方面优于现有方法。代码和数据集将发布。
引用
@article{arxiv.2406.03866,
title = {LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model},
author = {Yixuan Yang and Junru Lu and Zixiang Zhao and Zhen Luo and James J. Q. Yu and Victor Sanchez and Feng Zheng},
journal= {arXiv preprint arXiv:2406.03866},
year = {2024}
}