基于深度抗混叠神经网络重新审视光场渲染

光场（LF）重建主要面临两大挑战：大视差与非朗伯效应。典型方法要么利用深度估计随后进行视图合成来解决大视差挑战，要么避开显式深度信息以实现非朗伯渲染，但很少在统一框架中同时解决这两个挑战。本文中，我们重新审视经典光场渲染框架，通过将其与先进的深度学习技术结合来解决这两个挑战。首先，我们分析表明大视差与非朗伯挑战背后的本质问题是混叠问题。经典光场渲染方法通常在傅里叶域中使用重建滤波器来缓解混叠，然而这在深度学习流程中难以实现。相反，我们引入了一种替代框架，在图像域中执行抗混叠重建，并从分析上展示其在混叠问题上具有相当的效能。为挖掘全部潜力，我们随后通过该抗混叠框架的集成架构与可训练参数设计将其嵌入深度神经网络。该网络使用一种特殊的训练集（包括规则光场与非结构化光场）通过端到端优化进行训练。与其他最先进方法相比，所提出的深度学习流程在解决大视差与非朗伯挑战方面表现出显著优势。除光场的视图插值外，我们还表明所提流程同样有益于光场视图外推。