从单快照压缩图像学习辐射场
计算机视觉与模式识别
2024-12-30 v1
摘要
本文探讨了 Snapshot Compressive Imaging (SCI) 技术从单个时间压缩图像中恢复潜在 3D 场景结构的潜力。SCI 是一种成本效益高的方法，可使用低成本 2D 成像传感器将高维数据（如 hyperspectral 或时间信息）记录到单个图像中。为此，通常会采用专门设计的 2D 掩码，以减少存储和传输需求，并提供潜在的隐私保护优势。受此启发，我们进一步利用神经辐射场 (NeRF) 强大的 3D 场景表示能力来恢复编码的 3D 场景信息。具体而言，我们提出了 SCINeRF，将 SCI 的物理成像过程作为 NeRF 训练的一部分，以发挥其在捕捉复杂场景结构方面的卓越性能。此外，我们进一步集成了流行的 3D 高斯溅写 (3DGS) 框架，提出 SCISplat，通过显式优化点云到 3D 高斯表示来提高 3D 场景重建质量和训练/渲染速度。为评估方法效果，我们使用合成数据和由我们的 SCI 系统捕获的真实数据进行了广泛评估。实验结果表明，我们的方法在图像重建和新视角合成方面优于当前最先进的方法。此外，我们的方法还能利用 SCI 和 3DGS 的渲染能力，实现实时渲染高帧率的多视图一致图像。代码将在 https://github.com/WU- CVGL/SCISplat 提供。
引用
@article{arxiv.2412.19483,
title = {Learning Radiance Fields from a Single Snapshot Compressive Image},
author = {Yunhao Li and Xiang Liu and Xiaodong Wang and Xin Yuan and Peidong Liu},
journal= {arXiv preprint arXiv:2412.19483},
year = {2024}
}