室内神经渲染:基于预捕获物体的封闭场景的非模态三维理解与自由视点渲染
计算机视觉与模式识别
2022-05-06 v1 图形学
摘要
作为人类,我们仅凭单张图像就能从任意视角理解并描绘熟悉的场景,而这仍是计算机领域的重大挑战。为此,我们提出一种新颖方案,基于封闭场景非模态三维理解与神经渲染的新范式来模拟此类人类感知能力。具体而言,我们首先通过离线阶段学习封闭场景中物体的先验知识,从而辅助在线阶段理解具有未知家具排布的房间。在线阶段中,给定不同布局下场景的全景图像,我们利用整体基于神经渲染的优化框架高效估计正确的三维场景布局并实现逼真的自由视点渲染。为处理离线与在线阶段间的域差距,我们的方法利用组合式神经渲染技术进行离线训练中的数据增强。在合成与真实数据集上的实验表明,我们的两阶段设计实现了鲁棒的三维场景理解,并以较大优势超越对比方法;我们还展示了逼真的自由视点渲染可支持场景漫游与编辑等多种应用。代码与数据见项目主页:https://zju3dv.github.io/nr_in_a_room/。
引用
@article{arxiv.2205.02714,
title = {Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects},
author = {Bangbang Yang and Yinda Zhang and Yijin Li and Zhaopeng Cui and Sean Fanello and Hujun Bao and Guofeng Zhang},
journal= {arXiv preprint arXiv:2205.02714},
year = {2022}
}
备注
Accepted to ACM ToG (SIGGRAPH 2022). Project Page: https://zju3dv.github.io/nr_in_a_room/