IBRNet：学习多视角基于图像的渲染
计算机视觉与模式识别
2021-04-08 v2
摘要
我们提出一种通过插值稀疏邻近视角集合来合成复杂场景新视角的方法。我们方法的核心是一个网络架构，包含多层感知机与光线 transformer，其在连续 5D 位置（3D 空间位置与 2D 视角方向）估计辐射度与体密度，并从多个源视角动态获取外观信息。通过在渲染时利用源视角，我们的方法回溯到经典的基于图像渲染（IBR）工作，并允许我们渲染高分辨率图像。与优化逐场景函数用于渲染的神经场景表征工作不同，我们学习一个泛化到新场景的通用视角插值函数。我们使用经典体渲染来渲染图像，其完全可微并允许我们仅以多视角位姿图像作为监督进行训练。实验表明，我们的方法优于近期同样旨在泛化到新场景的新视角合成方法。此外，若在每个场景上微调，我们的方法与最先进的单场景神经渲染方法具有竞争力。项目页面：https://ibrnet.github.io/
引用
@article{arxiv.2102.13090,
title = {IBRNet: Learning Multi-View Image-Based Rendering},
author = {Qianqian Wang and Zhicheng Wang and Kyle Genova and Pratul Srinivasan and Howard Zhou and Jonathan T. Barron and Ricardo Martin-Brualla and Noah Snavely and Thomas Funkhouser},
journal= {arXiv preprint arXiv:2102.13090},
year = {2021}
}
备注
CVPR 2021. Project page: https://ibrnet.github.io/