基于深度学习的Phong表面非视距成像
图像与视频处理
2020-05-05 v1 光学
摘要
我们开发了一种基于深度学习的非视距(NLOS)成像系统，用于从散射表面对遮挡物体成像。该神经网络仅使用手写数字训练，却展现出重构不同于训练集（包括实物）图案的能力。它还能从其散射图案实时重构卡通视频，展示了基于深度学习方法的鲁棒性与泛化能力。实验考察了若干具有不同朗伯与镜面贡献比例的散射表面；发现对于朗伯表面，重构图像的结构相似性指数(SSIM)约为0.63，而具有镜面分量的散射表面所得SSIM可高达0.93。基于Phong散射模型建立了光传输正演模型。数值模拟了具有不同镜面贡献比例的Phong表面的散射图案。发现小至5%的镜面贡献即可将SSIM从0.83提升至0.93，与实验数据结果一致。计算了不同Phong表面下底层传输矩阵的奇异值谱。随着权重与光泽因子增大（即镜面贡献增加），奇异值谱变宽，在10%镜面贡献下50-dB带宽增加逾4倍，表明即便存在少量镜面贡献，NLOS测量也能保留显著更多的奇异值分量，从而提高重构保真度。借助普通相机与 incoherent 光源，本工作实现了一种低成本、实时的NLOS成像系统，且无需底层光传输过程的显式物理模型。
引用
@article{arxiv.2005.00007,
title = {Non-line-of-sight imaging off a Phong surface through deep learning},
author = {Chen Zhou and Cheng-Yu Wang and Zhiwen Liu},
journal= {arXiv preprint arXiv:2005.00007},
year = {2020}
}