面向沉浸式室内场景装饰的条件式360度图像合成

在本文中，我们解决360度图像的条件式场景装饰问题。我们的方法接收室内场景的360度背景照片，并生成全景视图下同一场景的装饰图像。为此，我们开发了一个360度感知的物体布局生成器，该生成器在360度视图中学习潜在物体向量，从而能够为输入的360度背景图像提供多样的家具布置。我们利用该物体布局来条件化一个生成对抗网络（GAN），以合成输入场景的图像。为了进一步增强我们模型的生成能力，我们开发了一个简单而有效的场景清空器，它移除生成的家具并产生清空后的场景，使我们的模型能够学习循环约束。我们在Structure3D数据集上训练模型，并表明我们的模型能够生成具有可控物体布局的多样装饰。我们的方法在Structure3D数据集上取得了最先进（SOTA）的性能，并很好地泛化到Zillow室内场景数据集。我们的用户研究证实了我们的生成结果中由逼真图像质量和家具布局所提供的沉浸式体验。我们的实现将被公开。