中文

DeBaRA:基于去噪的3D房间布局生成

计算机视觉与模式识别 2024-11-06 v2

摘要

生成逼真且多样化的 furnished 室内3D场景布局能够 unlocking multiple interactive applications,影响广泛的行业。物体相互作用的内在复杂性、可用数据的有限性以及满足空间约束的要求,使得为3D场景合成和布局建模具有挑战性。当前方法通过自回归方式或使用通用扩散目标来解决这些挑战,同时预测所有属性而不考虑3D推理。在本文中,我们引入DeBaRA,一个为精确、可控且灵活的受限环境下的布局生成量身定制的基于评分的模型。我们认为,场景合成系统最关键的组成部分是准确建立各种物体在受限区域内的大小和位置。基于此洞察,我们提出了一种以3D空间感知为核心的轻量级条件评分模型。我们展示,通过聚焦于物体的空间属性,单个训练好的DeBaRA模型可在测试时用于执行多种下游应用,如场景合成、完成和重新布局。进一步,我们引入一种新颖的自评分评估程序,以便最佳地与外部LLM模型协同使用。我们通过大量实验评估了该方法,在各种情景下均在最先进的方法上取得显著改进。

关键词

引用

@article{arxiv.2409.18336,
  title  = {DeBaRA: Denoising-Based 3D Room Arrangement Generation},
  author = {Léopold Maillard and Nicolas Sereyjol-Garros and Tom Durand and Maks Ovsjanikov},
  journal= {arXiv preprint arXiv:2409.18336},
  year   = {2024}
}

备注

NeurIPS 2024