光场网络：具有单次评估渲染的神经场景表示
计算机视觉与模式识别
2022-01-19 v2 人工智能
图形学
机器学习
多媒体
摘要
从2D观测推断3D场景的表示是计算机图形学、计算机视觉和人工智能的一个基本问题。新兴的3D结构化神经场景表示是一种有前景的3D场景理解方法。在本工作中，我们提出一种新颖的神经场景表示，光场网络（Light Field Networks，LFNs），它通过神经隐式表示参数化，在360度四维光场中表示底层3D场景的几何与外观。从LFN渲染一条光线仅需一次网络评估，而3D结构化神经场景表示中基于光线行进或体素的渲染器每条光线需要数百次评估。在简单场景设定下，我们利用元学习在LFNs上学习一个先验，使得仅从单张图像观测即可实现多视图一致的光场重建。这带来了时间与内存复杂度的显著下降，并支持实时渲染。通过LFN存储360度光场的成本比Lumigraph等传统方法低两个数量级。利用神经隐式表示的解析可微性以及一种新颖的光空间参数化，我们进一步展示了从LFNs提取稀疏深度图。
引用
@article{arxiv.2106.02634,
title = {Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering},
author = {Vincent Sitzmann and Semon Rezchikov and William T. Freeman and Joshua B. Tenenbaum and Fredo Durand},
journal= {arXiv preprint arXiv:2106.02634},
year = {2022}
}
备注
First two authors contributed equally. Project website: https://vsitzmann.github.io/lfns/