NeuLF：基于神经 4D 光场的高效新视角合成

本文提出一种高效且鲁棒的深度学习方案，用于复杂场景的新视角合成。在我们的方法中，3D 场景表示为光场，即一组射线，每条射线在到达像平面时具有对应颜色。为实现高效的新视角渲染，我们采用光场的两平面参数化，其中每条射线由一个 4D 参数刻画。随后我们将光场公式化为一个 4D 函数，将 4D 坐标映射到对应颜色值。我们训练一个深度全连接网络来优化该隐式函数并记忆 3D 场景。然后，该场景特定模型被用于合成新视角。与先前需要密集视角采样才能可靠渲染新视角的光场方法不同，我们的方法可通过采样射线并直接从网络查询每条射线颜色来渲染新视角，从而以更稀疏的训练图像集实现高质量光场渲染。网络可选择性地预测逐射线深度，从而支持自动重对焦等应用。我们的新视角合成结果与最先进水平相当，在某些具有折射和反射的挑战性场景中甚至更优。我们在保持交互帧率和较小内存占用的同时实现了这一点。