中文

RoomDesigner:为风格一致且形状兼容的室内场景生成编码锚隐变量

计算机视觉与模式识别 2023-10-17 v1 图形学

摘要

室内场景生成旨在在空间合理的布局中创建形状兼容、风格一致的家具布置。然而,大多数现有方法主要关注生成合理的家具布局,而未纳入与单个家具相关的具体细节。为克服该局限,我们提出一种两阶段模型,通过将家具编码为锚隐变量表示,将形状先验整合到室内场景生成中。在第一阶段,我们采用离散向量量化将家具编码为锚隐变量。基于锚隐变量表示,家具的形状和位置信息由位置、尺寸、朝向、类别及我们的锚隐变量的拼接来表征。在第二阶段,我们利用transformer模型自回归地预测室内场景。得益于所提出的锚隐变量表示,我们的生成模型可生成形状兼容、风格一致的家具布置,并合成多样形状的家具。此外,我们的方法支持多种人机交互应用,如风格一致场景补全、物体不匹配修正和可控物体级编辑。在3D-Front数据集上的实验结果表明,即便无需形状检索,与现有方法相比,我们的方法能生成更一致、更兼容的室内场景。大量消融实验也证实了我们在室内场景生成模型中的设计选择的有效性。

关键词

引用

@article{arxiv.2310.10027,
  title  = {RoomDesigner: Encoding Anchor-latents for Style-consistent and Shape-compatible Indoor Scene Generation},
  author = {Yiqun Zhao and Zibo Zhao and Jing Li and Sixun Dong and Shenghua Gao},
  journal= {arXiv preprint arXiv:2310.10027},
  year   = {2023}
}

备注

3DV 2024. project: https://github.com/zhao-yiqun/RoomDesigner