基于编码投影重建光场的统一学习框架
计算机视觉与模式识别
2019-10-22 v2
摘要
光场通过捕获视觉信号的空间-角度维度，提供了一种表示3D世界的丰富方式。然而，通过全光相机捕获光场（LF）的流行方式存在空间-角度分辨率的权衡。计算成像技术，如压缩光场和可编程编码光圈，通过对入射的空间-角度光场进行多路复用，从获得的编码投影中重建全传感器分辨率的光场。在此，我们提出一个统一的学习框架，能够以最少数量的编码图像作为输入，从多种多路复用方案中重建光场。我们考虑三种光场捕获方案：将编码置于传感器附近的异差捕获方案、将编码置于相机光圈处的编码光圈方案，以及最后一种捕获聚焦-散焦对且无显式编码的双重曝光方案。我们的算法包含三个阶段：1）从编码图像中恢复全聚焦图像；2）从编码图像和全聚焦图像中估计所有光场视图的视差图；3）通过使用视差图对全聚焦图像进行变形来渲染光场，并对其进行细化。针对这三个阶段，我们提出了三个深度神经网络——ViewNet、DispairtyNet和RefineNet。我们的重建结果表明，我们的学习算法在所有三种多路复用方案上均取得了state-of-the-art的结果。特别是，我们从聚焦-散焦对重建的光场可媲美其他基于多图像的视图合成方法。因此，我们的工作为使用传统相机（如单反相机）捕获高分辨率光场（约一百万像素）铺平了道路。请查看我们的补充材料 以更好地欣赏重建的光场。
引用
@article{arxiv.1812.10532,
title = {A Unified Learning Based Framework for Light Field Reconstruction from Coded Projections},
author = {Anil Kumar Vadathya and Sharath Girish and Kaushik Mitra},
journal= {arXiv preprint arXiv:1812.10532},
year = {2019}
}