GANESH：用于无透镜成像的可泛化NeRF
计算机视觉与模式识别
2024-11-08 v1 图像与视频处理
摘要
无透镜成像通过移除传统的笨重透镜系统，为开发超紧凑相机提供了重大机遇。然而，由于缺少聚焦元件，传感器的输出不再是直接图像，而是复杂的场景多路复用表示。传统方法尝试通过可学习反演和优化模型来解决这一挑战，但这些方法主要设计用于二维重建，在三维重建上泛化能力不佳。我们提出GANESH，一个新颖框架，能够从多视角无透镜图像同时进行优化和新视角合成。与现有需要场景特定训练的方法不同，我们的方案支持在线推理而无需对每个场景重新训练。此外，我们的框架允许针对特定场景调优模型，从而提升渲染和优化质量。为促进该领域的研究，我们还发布了首个多视角无透镜数据集LenslessScenes。大量实验表明，我们的方法在重建精度和优化质量上优于现有方法。代码和视频结果可在 https://rakesh-123-cryp.github.io/Rakesh.github.io/ 获取。
引用
@article{arxiv.2411.04810,
title = {GANESH: Generalizable NeRF for Lensless Imaging},
author = {Rakesh Raj Madavan and Akshat Kaimal and Badhrinarayanan K and Vinayak Gupta and Rohit Choudhary and Chandrakala Shanmuganathan and Kaushik Mitra},
journal= {arXiv preprint arXiv:2411.04810},
year = {2024}
}