视图合成中的采样：从局部光场融合到神经辐射场及其超越

捕捉并渲染复杂真实场景的新视角是计算机图形学与视觉领域的一个长期问题，其应用涵盖增强现实与虚拟现实、沉浸式体验和三维摄影。深度学习的出现为这一传统上被称为基于图像的渲染的领域带来了革命性进展。然而，以往的方法要么需要难以实现的密集视图采样，要么很少或根本不指导用户应如何采样场景视图，以可靠地渲染出高质量的新视角。局部光场融合提出了一种从非规则采样视图网格进行实用视图合成的算法，该算法首先通过多平面图像场景表示将每个采样视图扩展为局部光场，然后通过混合相邻的局部光场来渲染新视角。至关重要的是，我们扩展了传统的全光采样理论，推导出一个界限，精确规定了用户在使用我们的算法时应如何密集地采样给定场景的视图。我们以高达4000倍少的视图数量，实现了奈奎斯特率视图采样的感知质量。随后的发展催生了用于深度学习视图合成的新场景表示，尤其是神经辐射场，但从少量图像进行稀疏视图合成的问题变得愈发重要。我们回顾了近期在稀疏甚至单图像视图合成方面的一些成果，同时提出了一个问题：对于新一代基于图像的渲染算法，规定性的采样指南是否可行。