OptiScene：基于规模化人类对齐数据合成与多阶段偏好优化的 LLM驱动室内场景布局生成
计算机视觉与模式识别
2025-09-22 v2 人工智能
摘要
自动室内布局生成因其在室内设计、虚拟环境构建和具身 AI 等领域的潜力而受到日益关注。现有方法分为两类：一类是利用专有 LLM 服务（如 GPT API）的提示驱动方法；另一类是基于扩散模型训练布局数据的数据驱动方法。提示驱动方法常 suffer于空间不一致性和高计算成本，而数据驱动方法通常受限于粗糙的关系图和有限数据集，限制了其对多样化房间类别的泛化能力。本文我们重新审视了基于 LLM 的室内布局生成，提出了 3D-SynthPlace 数据集，该数据集结合了通过 'GPT 合成、人类检查' 流程生成的合成布局，升级自 3D-Front 数据集。3D-SynthPlace 包含约 17,000 个场景，覆盖四种常见房间类型——卧室、客厅、厨房和浴室——并丰富了多样化的物体和高层次空间注释。我们进一步引入 OptiScene，一个强大且开源的 LLM，用于室内布局生成，依据我们的 3D-SynthPlace 数据集通过我们两阶段训练进行微调。在 warming-up 阶段 I，我们采用监督微调 (SFT)，学习生成高层次空间描述，然后条件预测具体物体放置。对于强化阶段 II，为更好地将生成布局与人类设计偏好对齐，我们应用多轮直接偏好优化 (DPO)，显著提升布局质量和生成成功率。广泛的实验表明，OptiScene 在性能上优于传统提示驱动和数据驱动的基线方法。此外，OptiScene 在场景编辑和机器人导航等交互任务中显示出良好的潜力。
关键词
引用
@article{arxiv.2506.07570,
title = {OptiScene: LLM-driven Indoor Scene Layout Generation via Scaled Human-aligned Data Synthesis and Multi-Stage Preference Optimization},
author = {Yixuan Yang and Zhen Luo and Tongsheng Ding and Junru Lu and Mingqi Gao and Jinyu Yang and Victor Sanchez and Feng Zheng},
journal= {arXiv preprint arXiv:2506.07570},
year = {2025}
}