野外的NeRF：面向无约束照片集合的神经辐射场
计算机视觉与模式识别
2021-01-07 v3 图形学
机器学习
摘要
我们提出一种基于学习的方法，仅使用非结构化的野外照片集合来合成复杂场景的新视角图像。我们建立在神经辐射场（NeRF）之上，其利用多层感知机的权重将场景的密度与颜色建模为3D坐标的函数。尽管NeRF在受控环境下捕获的静态主体图像上表现良好，但它无法对无约束图像中许多普遍存在的现实世界现象（如可变光照或瞬态遮挡物）进行建模。我们引入一系列对NeRF的扩展以解决这些问题，从而能够从互联网获取的非结构化图像集合中实现精确重建。我们将我们的系统（称为NeRF-W）应用于著名地标的互联网照片集合，并展示了在时间上一致的新视角渲染，其比先前最先进水平显著更接近照片真实感。
引用
@article{arxiv.2008.02268,
title = {NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections},
author = {Ricardo Martin-Brualla and Noha Radwan and Mehdi S. M. Sajjadi and Jonathan T. Barron and Alexey Dosovitskiy and Daniel Duckworth},
journal= {arXiv preprint arXiv:2008.02268},
year = {2021}
}
备注
Project website: https://nerf-w.github.io. Ricardo Martin-Brualla, Noha Radwan, and Mehdi S. M. Sajjadi contributed equally to this work. Updated with results for three additional scenes