基于局部条件辐射场的无约束场景生成
计算机视觉与模式识别
2021-04-02 v1 机器学习
摘要
我们应对学习复杂、真实室内场景分布这一挑战。本文中，我们引入生成式场景网络（GSN），其学习将场景分解为可从自由移动相机渲染的许多局部辐射场的集合。我们的模型可用作先验以生成新场景，或仅在稀疏 2D 观测下补全场景。近期工作表明辐射场的生成模型可捕捉多视图一致性与视图相关光照等性质。然而，这些模型专用于单物体（如汽车或人脸）的受限视角观察。由于真实室内环境的大小与复杂性，现有模型缺乏充分捕捉它们的表示能力。我们的分解方案在保持细节与多样性的同时扩展到更大更复杂的场景，且学习到的先验支持从与观测视角显著不同的视点进行高质量渲染。与现有模型相比，GSN 在多个不同场景数据集上产生定量更高质量的场景渲染。
引用
@article{arxiv.2104.00670,
title = {Unconstrained Scene Generation with Locally Conditioned Radiance Fields},
author = {Terrance DeVries and Miguel Angel Bautista and Nitish Srivastava and Graham W. Taylor and Joshua M. Susskind},
journal= {arXiv preprint arXiv:2104.00670},
year = {2021}
}