FlatNet:从无透镜测量中实现逼真场景重建
图像与视频处理
2020-10-30 v1 计算机视觉与模式识别
机器学习
摘要
无透镜成像通过摒弃传统相机中的 bulky 镜头,已成为实现超微型相机的潜在方案。若无聚焦镜头,无透镜相机依赖计算算法从复用测量中恢复场景。然而,当前基于迭代优化的重建算法产生噪声更大且感知质量更差的图像。本工作中,我们提出一种基于非迭代深度学习(deep learning)的重建方法,使无透镜重建的图像质量获得数量级提升。我们的方法称为 ,为从基于掩膜的无透镜相机(其前向模型公式已知)重建高质量逼真图像建立了框架。FlatNet 包含两个阶段:(1)反演阶段,通过学习前向模型公式中的参数将测量映射至中间重建空间;(2)感知增强阶段,提升该中间重建的感知质量。这些阶段以端到端方式联合训练。我们利用两类不同的无透镜原型——一种采用可分离前向模型,另一种采用更通用的不可分离裁剪卷积模型——在真实且具挑战性的场景上开展大量实验,展示了高质量重建。我们的端到端方法快速、产生逼真重建,且易于适配其他基于掩膜的无透镜相机。
引用
@article{arxiv.2010.15440,
title = {FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements},
author = {Salman S. Khan and Varun Sundar and Vivek Boominathan and Ashok Veeraraghavan and Kaushik Mitra},
journal= {arXiv preprint arXiv:2010.15440},
year = {2020}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 2020. Supplementary material attached. For project website, see https://siddiquesalman.github.io/flatnet/