中文

PhoCoLens:无镜头成像中的光滑且一致的重建

图像与视频处理 2024-10-08 v2 计算机视觉与模式识别 机器学习

摘要

无镜头相机在尺寸、重量和成本方面具有显著优势,相对于传统镜头系统。没有聚焦镜头的无镜头相机依赖于计算算法从 multiplexed measurements 中恢复场景。然而,当前算法在前向成像模型不准确以及缺乏先验条件方面困难以重建高质量图像。为克服这些限制,我们引入一种新颖的两阶段方法,用于一致且光滑的无镜头图像重建。该方法的第一阶段通过聚焦于准确重建低频内容的空间变化解卷积方法来确保数据一致性,该方法会调整点扩散函数(PSF)在相机视场范围内的变化。第二阶段通过整合来自预训练扩散模型的生成先验来增强光滑性。通过以第一阶段检索到的低频内容为条件,该扩散模型有效地重建了通常在无镜头成像过程中丢失的高频细节,同时保持图像保真度。我们的方法在数据保真度和视觉质量之间实现了优于现有方法的优越平衡,作为两个流行的无镜头系统PhlatCam和DiffuserCam的示例。项目网站:https://phocolens.github.io/。

关键词

引用

@article{arxiv.2409.17996,
  title  = {PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging},
  author = {Xin Cai and Zhiyuan You and Hailong Zhang and Wentao Liu and Jinwei Gu and Tianfan Xue},
  journal= {arXiv preprint arXiv:2409.17996},
  year   = {2024}
}

备注

NeurIPS 2024 Spotlight