基于深度先验的三维感知室内场景合成
计算机视觉与模式识别
2022-02-21 v2
摘要
尽管生成对抗网络（GANs）在从二维数据学习三维感知图像合成方面取得了近期进展，现有方法由于房间布局及内部物体的高度多样性而难以建模室内场景。我们认为室内场景并不具备共享的内在结构，因此仅使用二维图像无法以三维几何充分引导模型。本工作中，我们通过引入深度作为三维先验来填补这一空白。与其他三维数据格式相比，深度更契合基于卷积的生成机制，且在实践中更易获取。具体而言，我们提出一种双路生成器，其中一路负责深度生成，其中间特征作为条件注入另一路用于外观渲染。该设计借助显式几何信息简化了三维感知合成。同时，我们引入一个可切换判别器，既区分真实与虚假域，又从给定输入预测深度。如此，判别器可考虑空间排布并指导生成器学习合适的深度条件。大量实验结果表明，我们的方法能够合成具有令人印象深刻的高质量与三维一致性的室内场景，显著优于最先进的替代方法。
引用
@article{arxiv.2202.08553,
title = {3D-Aware Indoor Scene Synthesis with Depth Priors},
author = {Zifan Shi and Yujun Shen and Jiapeng Zhu and Dit-Yan Yeung and Qifeng Chen},
journal= {arXiv preprint arXiv:2202.08553},
year = {2022}
}