基于学习的混合成像系统的光场视频捕获

光场相机相对于传统相机具有许多优势，因为它们允许用户在捕获后更改各种相机设置。然而，捕获光场需要巨大的带宽来记录数据：现代光场相机每秒只能拍摄三张图像。这会阻止当前的消费级光场相机捕获光场视频。在如此极端的尺度上进行时间插值（从 3 fps 插值到 30 fps）是不可行的，因为在相邻帧之间会完全缺失大量信息。相反，我们开发了一种混合成像系统，添加另一个标准视频相机来捕获时间信息。给定 3 fps 的光场序列和 30 fps 的标准 2D 视频，我们的系统可以生成 30 fps 的完整光场视频。我们采用一种基于学习的方法，可分为两个步骤：时空流估计和外观估计。流估计将光场序列中的角度信息传递到 2D 视频中，以便将输入图像变形到目标视图。然后，外观估计将这些变形后的图像组合以输出最终像素。整个过程使用卷积神经网络进行端到端训练。实验结果表明，我们的方法优于当前的视频插值方法，使消费级光场摄影实现了可能性首次实现了视频的再聚焦和视差视图生成等应用。