FoV-NeRF：面向虚拟现实的中央凹神经辐射场

随着消费级显示设备与商业VR平台的兴起，虚拟现实（VR）正变得无处不在。此类显示设备需要以较低的计算开销实现低延迟、高质量的合成图像渲染。神经渲染的最新进展表明，通过虚拟或物理环境的基于图像的表示，有望在三维计算机图形学中开启新的可能。具体而言，神经辐射场（NeRF）证明，可以在不损失视角相关效果的情况下，实现照片级真实感质量与三维场景的连续视角变化。虽然NeRF可显著惠及VR应用的渲染，但它面临着由高视场、高分辨率以及立体/以自我为中心观看所带来的独特挑战，通常导致渲染图像质量低下且延迟高。在VR中，这不仅损害交互体验，还可能引起眩晕。为在VR中面向六自由度、以自我为中心和立体的NeRF解决这些问题，我们提出了首个注视依赖的三维神经表示与视图合成方法。我们将视觉与立体敏锐度的人类心理物理学特性融入三维景物的以自我为中心的神经表示中。随后，我们在相互桥接人类感知与神经场景合成的同时，联合优化延迟/性能与视觉质量，以实现感知上的高保真沉浸式交互。我们进行了客观分析与主观研究来评估方法的有效性。我们发现，相较NeRF，我们的方法显著降低了延迟（最高减少99%的时间），且不损失高保真渲染（在感知上与全分辨率真值一致）。所提方法可作为迈向未来实时捕获、传输与可视化远程环境的VR/AR系统的第一步。