SCINeRF：从快照压缩图像恢复神经辐射场
图像与视频处理
2024-04-01 v1 计算机视觉与模式识别
摘要
在本文中，我们探索了快照压缩成像（SCI）技术从单个时间压缩图像恢复底层3D场景表示的潜力。SCI是一种经济高效的方法，能够使用低成本2D成像传感器将高维数据（如高光谱或时间信息）记录到单个图像中。为了实现这一点，通常使用一系列专门设计的2D掩模，这不仅减少了存储需求，还提供了潜在的隐私保护。受此启发，为了更进一步，我们的方法建立在神经辐射场（NeRF）强大的3D场景表示能力之上。具体来说，我们将SCI的物理成像过程公式化为NeRF训练的一部分，从而利用其在捕捉复杂场景结构方面的出色性能。为了评估我们方法的有效性，我们使用合成数据和由我们的SCI系统捕获的真实数据进行了广泛评估。大量实验结果表明，我们提出的方法在图像重建和新视角图像合成方面超越了最先进的方法。此外，我们的方法还展示了通过利用SCI和NeRF的渲染能力恢复高帧率多视图一致图像的能力。代码可在 https://github.com/WU-CVGL/SCINeRF 获取。
引用
@article{arxiv.2403.20018,
title = {SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image},
author = {Yunhao Li and Xiaodong Wang and Ping Wang and Xin Yuan and Peidong Liu},
journal= {arXiv preprint arXiv:2403.20018},
year = {2024}
}