从单张编码图像重建连续光场
计算机视觉与模式识别
2023-11-17 v1 图形学
图像与视频处理
摘要
我们提出一种从单张观测图像重建目标场景连续光场的方法。我们的方法兼取两者之长：用于压缩光场采集的联合孔径-曝光编码，以及用于视角合成的神经辐射场（NeRF）。在相机中实现的联合孔径-曝光编码能够将三维场景信息有效嵌入观测图像，但以往工作仅将其用于重建离散化光场视角。基于 NeRF 的神经渲染能够从连续视角对三维场景进行高质量视角合成，但在仅以单张图像作为输入时难以达到令人满意的质量。我们的方法将这两种技术整合为一个高效且端到端可训练的流水线。在大量多样化场景上训练后，我们的方法无需任何测试时优化即可准确高效地重建连续光场。据我们所知，这是首个桥接两个世界的工作：用于高效获取三维信息的相机设计与神经渲染。
引用
@article{arxiv.2311.09646,
title = {Reconstructing Continuous Light Field From Single Coded Image},
author = {Yuya Ishikawa and Keita Takahashi and Chihiro Tsutake and Toshiaki Fujii},
journal= {arXiv preprint arXiv:2311.09646},
year = {2023}
}