学习从单张图像合成 4D RGBD 光场
计算机视觉与模式识别
2017-08-11 v1 图形学
摘要
我们提出了一种机器学习算法，该算法以 2D RGB 图像作为输入，并合成 4D RGBD 光场（即每个光线方向上的场景颜色和深度）。为了进行训练，我们引入了最大的公开光场数据集，包含超过 3300 个包含花朵和植物场景的全光相机光场。我们的合成流水线由一个估计场景几何的卷积神经网络 (CNN)、一个使用该几何渲染 Lambertian 光场的阶段，以及第二个预测遮挡光线和非 Lambertian 效应的 CNN 组成。我们的算法建立在最近的视图合成方法之上，但其独特之处在于为每个光场光线预测 RGBD，并通过强制要求相交于同一场景点的光线深度保持一致，来改进无监督单图像深度估计。请观看我们的补充视频：https://youtu.be/yLCvWoQLnms
引用
@article{arxiv.1708.03292,
title = {Learning to Synthesize a 4D RGBD Light Field from a Single Image},
author = {Pratul P. Srinivasan and Tongzhou Wang and Ashwin Sreelal and Ravi Ramamoorthi and Ren Ng},
journal= {arXiv preprint arXiv:1708.03292},
year = {2017}
}
备注
International Conference on Computer Vision (ICCV) 2017