ATISS：用于室内场景合成的自回归 Transformer
计算机视觉与模式识别
2021-10-08 v1
摘要
自动或基于部分输入合成逼真且多样的室内家具布局的能力，开启了众多应用，从更好的交互式 3D 工具到用于训练和模拟的数据合成。在本文中，我们提出 ATISS，一种新颖的自回归 transformer 架构，用于在仅给定房间类型和平面图的情况下创建多样且合理的合成室内环境。与将场景合成视为序列生成的先前工作不同，我们的模型将房间生成为无序的对象集合。我们认为该表述更自然，因为它使 ATISS 在完全自动房间布局合成之外具有普遍用途。例如，同一训练模型可用于交互式应用中的通用场景补全、由用户指定的任意对象的局部房间重排，以及任意局部房间的对象建议。为此，我们的模型在条件于部分场景时利用 transformer 的置换等变性，并被训练为跨对象排序置换不变。我们的模型仅使用标注的 3D 边界框作为监督，端到端训练为自回归生成模型。在 3D-FRONT 数据集上四种房间类型的评估表明，我们的模型持续生成比现有方法更逼真的房间布局。此外，它参数更少、更易实现和训练，并且运行速度比现有方法快达 8 倍。
引用
@article{arxiv.2110.03675,
title = {ATISS: Autoregressive Transformers for Indoor Scene Synthesis},
author = {Despoina Paschalidou and Amlan Kar and Maria Shugrina and Karsten Kreis and Andreas Geiger and Sanja Fidler},
journal= {arXiv preprint arXiv:2110.03675},
year = {2021}
}
备注
To appear in NeurIPS 2021, Project Page: https://nv-tlabs.github.io/ATISS/